Data Engineer / Senior Data Engineer Microsoft Fabric
Summary
This role involves developing and maintaining data engineering processes within the Microsoft Fabric and Azure ecosystem. The engineer will design data pipelines, manage PySpark notebooks, ensure data quality and security, and implement CI/CD automation.
Forma współpracy: kontrakt B2B
Stawka (B2B PLN netto + VAT/h): 125-160
Tryb: hybrydowy (uzgodnione spotkania projektowe 1 dzień w tygodniu w Warszawie)
Poszukujemy osoby o profilu Data Engineer / Senior Data Engineer Microsoft Fabric, która posiada min. 3 lat komercyjnego doświadczenia.
Wiodący stack technologiczny: Microsoft Fabric, Azure Data Factory, PySpark, Python, SQL, Delta Lake, Parquet, Microsoft Azure, Git, CI/CD, Azure Synapse, Databricks, Data Quality, Excel, R.
Projekt który będziemy gotowi Ci zaproponować dotyczy rozwoju i utrzymania procesów data engineeringowych w środowisku Microsoft Fabric i Azure. W ramach projektu będziesz odpowiadać za projektowanie i implementację pipeline’ów w Data Factory oraz notebooków PySpark, onboarding i integrację źródeł danych, transformacje oraz przygotowanie danych wsadowych. Istotnym elementem będzie również zapewnienie jakości, wersjonowania i bezpieczeństwa danych oraz automatyzacja wdrożeń z wykorzystaniem Git i CI/CD. Projekt realizowany jest w środowisku o wysokich wymaganiach w zakresie bezpieczeństwa i audytowalności.
Wymagania:
- Minimum 3 lata doświadczenia na stanowisku Data Engineer przy realizacji produkcyjnych projektów danych.
- Bardzo dobra znajomość Python, PySpark oraz SQL i doświadczenie w pracy z dużymi zbiorami danych.
- Praktyczne doświadczenie z Microsoft Fabric lub pokrewnymi platformami, takimi jak Azure Synapse czy Databricks.
- Znajomość architektury warstwowej danych, np. Medallion Architecture, oraz formatów Delta Lake / Parquet.
- Doświadczenie w projektowaniu i implementacji pipeline’ów danych oraz integracji różnorodnych źródeł, w tym plików Excel i baz danych.
- Praktyczna znajomość Git oraz pracy zespołowej z wykorzystaniem code review i CI/CD.
- Doświadczenie w implementacji mechanizmów Data Quality, walidacji danych i raportowania błędów.
- Znajomość zasad bezpieczeństwa i ochrony danych w środowisku Azure oraz gotowość do pracy z wymaganiami dotyczącymi prywatności i audytowalności.
- Umiejętność optymalizacji procesów przetwarzania danych pod kątem wydajności i kosztów.
- Mile widziane: certyfikaty DP-600 / DP-700, doświadczenie w sektorze finansowym, znajomość R, CI/CD dla platform danych oraz praca w metodykach Agile/Scrum.
Współpracując z naszą organizacją będziesz mógł/mogła liczyć na:
- Ugruntowaną pozycją rynkową
- Projekty, w których będziesz miał/miała wpływ na ich rozwój
- Współpracę z atrakcyjnymi klientami biznesowymi z różnych branż (m.in.: finanse, bankowość, ubezpieczenia, healthcare, robotyzacja, energetyka, media)
- Bieżące informacje projektowe oraz stały dostęp do dokumentacji niezbędnej do realizacji zadań (np. Git, Gitflow, Angular, Docker, Primaris x TechTalks, Primaris Leadership Academy)
- Świetną atmosferę współpracy podczas realizacji projektów wśród zaangażowanych ludzi z pasją
Cały proces nawiązywania współpracy oraz onboarding prowadzony jest zdalnie.
Proces nawiązywania współpracy składa się z:
- rozmowy telefonicznej (do 30 min)
- zdalnego spotkania z Product Owner projektu (30-60 min)
Primaris Services to ponad 250 ekspertów na pokładzie i 15 lat doświadczenia w branży IT na rynku polskim oraz zagranicznym. Realizujemy ambitne projekty o wysokiej złożoności z różnych obszarów - m.in. bankowości, ubezpieczeń, healthcare, robotyzacji, energetyki, mediów (mamy ponad 40 aktywnych klientów). Rośniemy w siłę oraz ciągle poszerzamy portfolio zarówno naszych usług jak i klientów.
Zakres naszej działalności obejmuje budowę systemów od zera, ich rozwój oraz utrzymanie, wdrożenia produktowe, alokacje całych Zespołów, a także pojedynczych Ekspertów w strukturach Klienta.
Ponadto od kilku lat działamy bardzo intensywnie jako złoty Partner firmy UiPath (obszar Robotic Process Automation) budując roboty i sprzedając licencje u naszych Klientów. Co miesiąc nawiązujemy współpracę z 7 nowymi osobami. Wierzymy, że ludzie z pasją to klucz do naszego wspólnego sukcesu! Właśnie dlatego ciągle poszukujemy nowych, zdolnych osób, które powiększą grono naszych współpracowników.