Data Engineer (Databricks)
Summary
Senior Data Engineer builds scalable data pipelines in Databricks and PySpark, refactors legacy SQL logic, and designs Medallion architecture for a large insurance client’s cloud migration.
Everything is possible with the right people
In4ge jest firmą rekrutacyjną, w której wierzymy, że wszystko jest możliwe dzięki odpowiednim ludziom. Naszym celem jest połączenie najbardziej utalentowanych pracowników z odpowiednimi firmami, tworząc synergiczne relacje, które przyczyniają się do wzrostu i sukcesu każdej ze stron. Uważamy, że prawdziwą wartość stanowią ludzie pracujący wspólnie w atmosferze wzajemnego szacunku i zaufania.
Dla naszego Klienta poszukujemy doświadczonej osoby w roli Senior Data Engineer do długofalowego projektu związanego z transformacją platformy danych w międzynarodowym środowisku ubezpieczeniowym. Projekt koncentruje się na migracji rozwiązań opartych o SQL Server do nowoczesnej platformy Databricks oraz budowie skalowalnych procesów data engineeringowych w środowisku cloud.
Zakres roli:
• Analiza oraz refaktoryzacja złożonej logiki SQL (stored procedures).
• Implementacja transformacji danych w Python oraz PySpark.
• Projektowanie i rozwój modeli danych w architekturze Medallion (Bronze / Silver / Gold).
• Tworzenie skalowalnych procesów transformacji danych w środowisku Databricks.
• Dbanie o jakość kodu, jego modularność oraz utrzymywalność.
• Udział w code review oraz decyzjach architektonicznych.
• Praca z dużymi wolumenami danych w środowisku enterprise.
Oczekujemy:
• Bardzo dobrej znajomości Python oraz PySpark.
• Doświadczenia w pracy z Databricks oraz Delta Lake.
• Bardzo dobrej znajomości SQL i umiejętności analizy złożonej logiki bazodanowej.
• Doświadczenia w projektach data engineeringowych.
• Znajomości zasad clean code oraz OOP.
• Doświadczenia w pracy z dużymi repozytoriami kodu.
• Doświadczenia w modelowaniu danych.
• Bardzo dobrej znajomości języka angielskiego.
Mile widziane:
• Doświadczenie z Azure Data Factory.
• Znajomość CI/CD oraz Azure DevOps.
• Doświadczenie z narzędziami analitycznymi.
• Znajomość zagadnień DevOps lub infrastrukturalnych.
Proponujemy:
• Współpracę w modelu 100% zdalnym.
• Długofalowy projekt w międzynarodowym środowisku.
• Współpracę w modelu B2B.
• Pracę przy nowoczesnej platformie danych.
• Udział w dużym projekcie transformacji technologicznej.
Nie przegap dopasowanych ofert!
Mamy wiele rekrutacji, a nowe projekty pojawiają się na bieżąco. Pamiętaj, że zaznaczając zgodę na przetwarzanie danych w celu przyszłych procesów, będziemy mogli zaprosić Cię do udziału w kolejnych procesach, dopasowanych do Twojego doświadczenia i oczekiwań!
PS Zamierzamy kontaktować się z Tobą wyłącznie wtedy, kiedy będziemy dla Ciebie ciekawe projekty, bez tej zgody nie będzie to możliwe.
Jak wygląda proces rekrutacyjny in4ge?
Nasz proces rekrutacyjny jest transparentny i skoncentrowany na znalezieniu odpowiedniego kandydata dla naszych klientów. Składając aplikację, możesz liczyć na nasz obiektywizm, szacunek i pełny profesjonalizm.
Czekamy na Twoje CV.
We connect you with the right people