Databricks Data Engineer
Poznaj Onwelo
Onwelo jest partnerem technologicznym, który dostarcza kompleksowe usługi, od strategii i architektury, przez wdrożenia, po utrzymanie, w obszarach transformacji cyfrowej, danych i automatyzacji. Nasz zespół liczy ponad 400 specjalistów z silnymi kompetencjami seniorskim, a na koncie mamy 300+ zrealizowanych projektów dla dużych organizacji w Polsce, Europie i USA. Działamy z kilku polskich miast oraz z biur w Niemczech, Szwajcarii i USA, łącząc lokalną obecność z globalnym zasięgiem.
O projekcie
Do naszego zespołu poszukujemy Databricks Data Engineera, który dołączy do jednego z realizowanych przez nas projektów dla międzynarodowych klientów z branż takich jak finanse, retail czy sport & lifestyle. Projekty koncentrują się na budowie oraz modernizacji platform danych w chmurze Azure, w tym wdrażaniu i rozwoju rozwiązań opartych o Azure Databricks.
Zakres prac obejmuje zarówno projekty migracyjne (z rozwiązań on-premise do chmury), jak i wdrożenia platform danych od podstaw. W zależności od projektu, współpracujemy z zespołami klienta przy analizie istniejących procesów, projektowaniu architektury docelowej oraz rozwoju kolejnych warstw przetwarzania danych.
Twoje zadania
• Projektowanie, rozwijanie i utrzymywanie pipeline’ów danych w Azure Databricks z wykorzystaniem Apache Spark (PySpark, SQL)
• Pisanie wydajnego, czytelnego i testowalnego kodu w Pythonie (OOP), wykorzystywanego w pipeline’ach danych oraz komponentach wspierających przetwarzanie danych
• Uczestniczenie w analizie istniejących procesów danych oraz projektowaniu ich docelowego kształtu w środowisku Azure
• Migracja i refaktoryzacja procesów przetwarzania danych do architektury data lake / lakehouse
• Optymalizowanie wydajności przetwarzania danych oraz kosztów rozwiązań chmurowych
• Współpracowanie z zespołami klienta i Onwelo przy realizacji projektów data‑driven
• Dbane o jakość danych, stabilność pipeline’ów oraz dokumentację techniczną
Kogo szukamy
• Komercyjne doświadczenie w pracy z Azure Databricks i Apache Spark
• Swobodna praca z PySpark oraz SQL
• Zaawansowana znajomość języka Python, w tym projektowanie modułowego i reużywalnego kodu (OOP), obsługa wyjątków, logging, konfiguracja środowisk, pisanie testów i dbałość o jakość kodu
• Praca zgodnie z najlepszymi praktykami Data Engineering: wersjonowanie kodu, code review, CI/CD, dokumentacja techniczna
• Znajomość zagadnień związanych z data lake, lakehouse oraz przetwarzaniem dużych wolumenów danych
• Umiejętność współpracy w środowisku projektowym i komunikacji w języku angielskim
Co oferujemy
Elastyczne godziny oraz możliwość pracy zdalnej
80% menedżerów i koordynatorów awansuje wewnętrznie
Udział w ciekawych projektach dla globalnych klientów
90% kadry zarządzającej ma wykształcenie techniczne
Dostęp do szkoleń wewnętrznych i ścieżek rozwojowych
Udział w wydarzeniach zespołowych, firmowych spotkaniach i Town Hallach
Wsparcie w budowaniu profesjonalnego wizerunku (personal branding)
Dostęp do ubezpieczenia na życie oraz prywatnej opieki medycznej dla siebie i rodziny
Karta MultiSport, która wspiera dbałość o zdrowie i kondycję