Senior Data Engineer (Python / Azure)
Posted 3
views
Summary
Senior data engineer who designs and builds a client's data warehouse/lakehouse from scratch: bronze/silver/gold medallion layers, star-schema dimensional modeling, and production Python ETL/ELT pipelines pulling from regulatory and parliamentary APIs. Core stack is Azure (ADLS, Data Factory, Databricks/Fabric), SQL, Git and CI/CD, with direct client collaboration and full documentation handover.
Zakres obowiązków:
- Zaprojektowanie od podstaw hurtowni danych lub lakehouse, z uwzględnieniem środowiska i wymagań klienta
- Zaprojektowanie i wdrożenie warstw bronze, silver i gold w architekturze medallion
- Opracowanie modelu wymiarowego: tabel faktów, wymiarów i relacji w schemacie gwiazdy
- Analiza taksonomii biznesowej klienta, ocena jej dojrzałości oraz identyfikacja obszarów wymagających doprecyzowania
- Przełożenie taksonomii na słownik danych, strukturę klasyfikacji i model danych
- Budowa produkcyjnych pipeline'ów ETL/ELT w Pythonie oraz integracji ze źródłami regulacyjnymi i parlamentarnymi
- Zaprojektowanie i wdrożenie mechanizmów walidacji, obsługi zmian schematów, logowania, obsługi błędów i ponownego przetwarzania danych
- Współpraca z klientem przy doprecyzowaniu wymagań i podejmowaniu decyzji technicznych
- Przygotowanie dokumentacji architektury, modelu danych i pipeline'ów oraz przekazanie rozwiązania zespołowi klienta
Oferujemy:
- Prywatną opiekę medyczną
- Dofinansowanie karty sportowej
- Stałe wsparcie konsultanta
- Program rekomendacji pracowników
Kogo poszukujemy?
Wymagania:
- Minimum 5 lat komercyjnego doświadczenia w data engineeringu
- Doświadczenie w zaprojektowaniu i zbudowaniu od podstaw hurtowni danych lub lakehouse
- Praktyczna znajomość modelowania wymiarowego, star schema oraz architektury medallion
- Umiejętność przełożenia taksonomii biznesowej na struktury danych i oceny jej kompletności oraz spójności
- Bardzo dobra znajomość Pythona w zastosowaniach produkcyjnych ETL/ELT oraz dobra znajomość SQL
- Doświadczenie w integracjach REST API: autoryzacja, paginacja, limity zapytań, ponawianie połączeń i parsowanie JSON/XML
- Praktyczna znajomość mechanizmów zapewniania jakości danych, obsługi schema drift i ponownego przetwarzania danych
- Doświadczenie z wybranymi usługami: Azure Data Lake Storage, Azure Data Factory, Azure Functions, Azure SQL, Azure Databricks lub Microsoft Fabric
- Znajomość Git i procesów CI/CD w Azure DevOps lub GitHub Actions
- Doświadczenie w dokumentowaniu rozwiązań i przekazywaniu ich do utrzymania innemu zespołowi
- Angielski na poziomie minimum B2+ oraz samodzielność w bezpośredniej współpracy z klientem
Mile widziane:
- Znajomość Infrastructure as Code: Terraform lub Bicep
- Znajomość projektowania modeli danych na potrzeby Power BI
- Doświadczenie z danymi legislacyjnymi lub regulacyjnymi, np. API Congress.gov lub UK Parliament