Senior Data Engineer (Python / Azure)
Summary
Senior Data Engineer at DCG designing a client's data warehouse/lakehouse from scratch: building bronze/silver/gold medallion layers, star-schema dimensional models, and production Python ETL/ELT pipelines integrating regulatory and parliamentary data sources, working directly with the client on technical decisions.
DCG szuka Senior Data Engineera do projektu, w którym od podstaw zaprojektujesz hurtownię danych lub lakehouse dla klienta. Będziesz budować warstwy bronze/silver/gold w architekturze medallion, model wymiarowy (star schema) oraz produkcyjne pipeline'y ETL/ELT w Pythonie, integrując dane ze źródeł regulacyjnych i parlamentarnych. To oferta — dla samodzielnego inżyniera danych, który potrafi przełożyć taksonomię biznesową klienta na model danych i bezpośrednio współpracować z klientem przy decyzjach technicznych.
- min. 5lat komercyjnego doświadczenia w data engineeringu;
- doświadczenie w zaprojektowaniu i zbudowaniu od podstaw hurtowni danych lub lakehouse;
- praktyczna znajomość modelowania wymiarowego, star schema i architektury medallion;
- umiejętność przełożenia taksonomii biznesowej na struktury danych oraz oceny jej kompletności i spójności;
- doświadczenie w integracjach RESTAPI(autoryzacja, paginacja, limity zapytań, retry, parsowanie JSON/XML);
- doświadczenie w dokumentowaniu rozwiązań i przekazywaniu ich do utrzymania innemu zespołowi;
- angielski min. B2+ oraz samodzielność wbezpośredniej współpracyz klientem