DATA ENGINEER / SENIOR DATA ENGINEER MISCROSOFT FABRIC

Dla klienta z branży ubezpieczeniowej poszukujemy kandydata na stanowisko Data Engineer / Senior Data Engineer Microsoft Fabric

Twoje zadania:

• Projektowanie i implementacja pipeline’ów w Data Factory oraz notebooków PySpark w Fabric.
• Onboarding źródeł plikowych i bazodanowych wraz z walidacją techniczną i standaryzacją formatu.
• Transformacje, przygotowanie danych wsadowych.
• Implementacja reguł walidacji jakości danych i mechanizmów raportowania błędów.
• Wersjonowanie zestawów danych i zapis metadanych przebiegu (parametry, źródła, wersje).
• Praca w reżimie Git – kod pipeline’ów w repozytorium, wdrożenia przez CI/CD, code review.
• Współpraca z Zespołem Ryzyka przy ustalaniu reguł przekształceń.
• Zapewnienie zgodności z regulacjami prywatności i bezpieczeństwa danych i integracja standardów bezpieczeństwa firmy ze środowiskiem Azure.
• Optymalizacja procesów pod względem wydajnościowym oraz kosztowym.

Wymagania:

• Min. 3 lata doświadczenia jako Data Engineer w projektach produkcyjnych,
  Python (PySpark) i SQL na poziomie sprawnej pracy z dużymi zbiorami,
• Praktyczne doświadczenie z platformą chmurową do przetwarzania danych — Microsoft Fabric, Azure Synapse lub Databricks,
• Znajomość architektury warstwowej danych (medalionowa lub podobna) i formatu Delta/Parquet,
• Praca z Git w zespole,
• Doświadczenie w integracji różnorodnych źródeł, w tym plików Excel od użytkowników biznesowych,
• Gotowość do podpisania NDA i przejścia weryfikacji bezpieczeństwa.

Mile widziane:

• Certyfikat DP-600 lub DP-700,
• Doświadczenie w sektorze finansowym lub innym środowisku o wysokich wymaganiach audytowych,
• Znajomość R (model wykorzystuje Python i R),
• Praktyka z CI/CD dla platform danowych,
• Doświadczenie z frameworkami data quality,
• Doświadczenie w metodykach Agile i Scrum.

Współpraca jest w formie hybrydowej – 1x w tygodniu spotkasz się w biurze w Warszawie.

Wymiar godzin: Pełny etat.

Rekrutacja jest jednoetapowa.