Data Engineer
Summary
Data Engineer building and evolving a data layer in Microsoft Fabric for an insurance-sector client: creating Data Factory pipelines and PySpark notebooks, delivering versioned, auditable datasets for risk models, and optimizing Azure workloads. Requires 3+ years of commercial Data Engineering experience with strong Python (PySpark) and SQL skills.
Lokalizacja: Otwartość na okazjonalne spotkania koordynacyjne w Warszawie, ustalane w zależności od potrzeb projektu (orientacyjnie 1x w tygodniu)
Wspólnie z naszym Partnerem, jednym z liderów w branży ubezpieczeniowej, poszukujemy doświadczonej osoby do realizacji projektu jako Data Engineer.
Projekt dotyczy budowy i rozwoju warstwy danych w Microsoft Fabric, integrującej dane z wielu źródeł i przygotowującej wersjonowane, audytowalne zestawy danych na potrzeby modeli ryzyka w sektorze ubezpieczeniowym.
- Opracowanie i wdrożenie pipeline'ów danych w Data Factory oraz notebooków PySpark w środowisku Microsoft Fabric, wraz z ich bieżącym rozwojem zgodnie z ustaleniami projektowymi.
- Wdrożenie mechanizmu wersjonowania zestawów danych oraz rejestracji metadanych przebiegu procesów, w tym źródeł i wersji danych.
- Opracowanie reguł transformacji oraz zapewnienie zgodności rozwiązania z wymaganiami bezpieczeństwa i prywatności danych.
- Transformacja i przygotowanie danych wsadowych wraz z implementacją reguł kontroli jakości oraz raportowania błędów.
- Integracja źródeł plikowych i bazodanowych, w tym onboarding danych, walidacja techniczna i standaryzacja formatów.
- Zarządzanie kodem w repozytorium Git, z wykorzystaniem code review oraz procesów CI/CD do wdrażania zmian.
- Optymalizacja procesów pod kątem wydajności, stabilności oraz kosztów działania środowiska Azure.
- Minimum 3 letnie doświadczenie komercyjne w roli Data Engineera przy realizacji projektów produkcyjnych.
- Doświadczenie w pracy z platformami chmurowymi do przetwarzania danych, w szczególności Microsoft Fabric, Azure Synapse lub Databricks.
- Znajomość warstwowej architektury danych (medalionowej lub podobnej), formatów Delta Lake/Parquet oraz Azure Data Lake Storage.
- Bardzo dobra znajomość Python (PySpark) oraz SQL, umożliwiająca efektywną pracę z dużymi zbiorami danych.
- Doświadczenie w integracji danych z różnych źródeł, w tym plików Excel od użytkowników biznesowych.
Mile widziane:
- Doświadczenie w sektorze finansowym lub innym środowisku o wysokich wymaganiach audytowych.
- Doświadczenie w wykorzystaniu CI/CD w projektach data engineering.
- Certyfikat DP-600 lub DP-700.
- Znajomość języka R.
- Nowy sposób na aplikowanie z AI Rekruterem (AIR) – w trakcie procesu możesz porozmawiać z wirtualnym rekruterem 24/7, bez czekania na telefon. Finalną decyzję zawsze podejmuje Opiekun Projektu.
- Otwartość na okazjonalne spotkania koordynacyjne w Warszawie, ustalane w zależności od potrzeb projektu (orientacyjnie 1x w tygodniu).
- Uczestnictwo w wydarzeniach branżowych oraz meetupach technologicznych, umożliwiających dzielenie się wiedzą i doświadczeniem.
- Współpracę w modelu projektowym, z rozliczeniem opartym na etapach i protokołach odbioru poszczególnych deliverables.
- Wsparcie po stronie Connectis w sprawach administracyjnych i rozliczeniowych związanych ze współpracą.
- 5 000 PLN za polecenie znajomych do naszych projektów.
- Elastyczną formę współpracy B2B.
- Szybki i zdalny proces.
Dziękujemy za wszystkie zgłoszenia. Informujemy, że skontaktujemy się wyłącznie z wybranymi osobami.