Data Engineer Microsoft Fabric - Warszawa (Mazowieckie), Polska K/M
Summary
The Data Engineer will design and implement data pipelines and PySpark notebooks within Microsoft Fabric for an insurance industry client. The role focuses on data integration, quality validation, and performance optimization while adhering to strict security and privacy standards.
Stanowisko
Obecnie dla naszego klienta z branży ubezpieczeniowej poszukujemy kandydata/kandydatki na stanowisko Data engineer z Microsoft Fabric (K/M)
Dodatkowe informacje
CZĘŚĆ NIEOBOWIĄZKOWA - możesz tutaj umieścić dodatkowe informacje nt projektu/klienta, branży, modelu pracy (hybryda, zdalnie), wymiaru FTE, itd., ale też o samej pracy, np. dla FullStack Deva o podziale pracy pomiędzy backend i frontend
Oferowane wynagrodzenie
Wynagrodzenie: od 900 do 1200 PLN netto/dzień, w zależności od posiadanego doświadczenia i kompetencji.
Sprawdysz się w tej roli, jeżeli:
- Masz minimum 3 lata doświadczenia jako Data Engineer w projektach produkcyjnych.
- Znasz Python (oraz PySpark) i SQL na poziomie pozwalającym na swobodną i sprawną pracę z dużymi zbiorami danych.
- Posiadasz praktyczne doświadczenie w pracy z chmurowymi platformami przetwarzania danych: Microsoft Fabric, Azure Synapse lub Databricks.
- Rozumiesz i stosujesz architekturę warstwową danych (np. medalionową).
- Dobrze znasz formaty Delta / Parquet.
- Posiadasz doświadczenie w integracji różnorodnych źródeł danych (w tym praca z plikami Excel od użytkowników biznesowych).
- Sprawnie posługujesz się systemem kontroli wersji Git w pracy zespołowej.
- Wyrażasz gotowość do podpisania umowy NDA oraz przejścia weryfikacji bezpieczeństwa (wymóg konieczny).
Mile widziane:
- Posiadanie certyfikatów Microsoft: DP-600 lub DP-700.
- Doświadczenie z frameworkami Data Quality.
- Praktyka w tworzeniu procesów CI/CD dedykowanych dla platform danych.
- Znajomość języka R.
- Doświadczenie zdobyte w sektorze finansowym lub innym środowisku o wysokich rygorach audytowych.
- Znajomość zwinnych metodyk prowadzenia projektów (Agile, Scrum).
Zadania, które na Ciebie czekają:
- Projektowanie i implementacja pipeline’ów w Azure Data Factory oraz notebooków PySpark w Microsoft Fabric.
- Onboarding źródeł plikowych i bazodanowych (wraz z ich walidacją techniczną i standaryzacją formatów).
- Transformacje oraz przygotowywanie danych wsadowych.
- Implementacja reguł walidacji jakości danych i mechanizmów raportowania błędów.
- Wersjonowanie zestawów danych oraz zapis metadanych przebiegu (w tym parametrów, źródeł i wersji).
- Dbanie o jakość kodu w reżimie Git – praca z repozytorium, wdrożenia przez CI/CD oraz udział w code review.
- Ścisła współpraca z Zespołem Ryzyka przy ustalaniu reguł przekształceń danych.
- Zapewnienie zgodności z regulacjami dotyczącymi prywatności oraz bezpieczeństwa danych.
- Integracja firmowych standardów bezpieczeństwa ze środowiskiem Azure.
- Optymalizacja procesów pod kątem wydajnościowym oraz kosztowym.
Nasz proces rekrutacji
Rozmowa z naszym Rekruterem -> Rozmowa z naszym Business Managerem -> Spotkanie z Klientem W uzasadnionych przypadkach po rozmowie z Rekruterem wprowadzamy dodatkowy etap weryfikacji technicznej. Skontaktujemy się tylko z wybranymi kandydatami.
Co oferujemy
- Długoterminowa współpraca
- Szkolenia techniczne, certyfikaty i podnoszenie kwalifikacji
- Mentoring Competence Center - bycie członkiem społeczności CC od pierwszego dnia pracy jest szansą na rozwijanie swoich umiejętności, uczestniczenie w różnych konferencjach oraz dzielenie się wiedzą i doświadczeniem z ludźmi, którzy na co dzień mierzą się z tymi samymi wyzwaniami
- Jasna ścieżka kariery
- Pakiet benefitów pracowniczych (Multisport, prywatna opieka medyczna, ubezpieczenie na życie)
- Przyjazną atmosferę pracy, imprezy integracyjne i spotkania team-buildingowe
Klauzula informacyjna
Administratorem Pana/Pani danych osobowych jest ASTEK Polska sp. z o.o. z siedziba w Warszawie (00-133) przy Al. Jana Pawla II 22.
Przysługuje Panu/Pani prawo do wglądu do danych, prawo żądania usunięcia danych itp.
Szczegółowe informacje dotyczace przetwarzania: http://astek.pl/polityka-prywatnosci
W dowolnym momencie przysługuje Panu/Pani prawo do wycofania wyrażonych zgód.
W razie wycofania zgód prosimy o kontakt e‑mailowy na adres privacy@astek.net lub pisemnie na adres administratora.
Procedura dokonywania zgłoszeń przez sygnalistów w ASTEK Polska sp. z o. o.: https://astek.pl/sygnalisci/