Senior Data Engineer (Azure | Databricks)
Summary
Senior Data Engineer builds and optimizes scalable ETL pipelines on Azure and Databricks, migrating legacy data to cloud Data Lake and ensuring Data Governance.
Senior Data Engineer (Azure | Databricks)
Szukamy doświadczonego Senior Data Engineer, znającego ETL, chmurę Azure i Databricks, do budowy stabilnych, wydajnych potoków danych. Prosimy o CV w języku angielskim.
Warunki:
- Obszar: Consulting IT
- Lokalizacja: hybrydowo (Wrocław - 2 dni/tydz.)
- Start: ASAP (max 3 mies. okres wypowiedzenia)
- Zaangażowanie: B2B (outsourcing z 1dea), full-time, długofalowo
Proces rekrutacyjny (zdalnie):
- Krótka rozmowa z rekruterem (~10 min)
- Weryfikacja techniczna z Klientem (~1–1,5 h)
- Rozmowa z przedstawicielem projektu (~30 min)
- Decyzja o współpracy
Obowiązki:
- Budowa i optymalizacja potoków: tworzenie skalowalnych procesów batch i real-time.
- Databricks i Azure: projektowanie notebooków, łączenie danych, formaty, Ingestion Framework.
- Migracje i transformacje: przenoszenie i oczyszczanie danych z systemów legacy do Data Lake Core.
- Bazy i SQL: DDL, tabele, widoki w MS SQL Server w chmurze, optymalizacja zapytań.
- Współpraca: praca z analitykami i architektami, Agile/Scrum.
- Automatyzacja i jakość: automatyzacja przepływów, testowanie, Data Governance.
- Dokumentacja: dokumentacja techniczna i prototypy wg wymagań biznesowych.
Kogo poszukujemy?
Czego oczekujemy?
- Minimum 5 lat doświadczenia w roli Data Engineera, ze skupieniem na ETL i narzędziach chmurowych.
- Certyfikatów (warunek konieczny): Certified Azure Data Engineer oraz Databricks Certified Data Engineer.
- Świetnej znajomości technologii: Azure Data Factory, Azure Databricks, PySpark, Spark SQL, ADLS, MS Cloud SQL Server.
- Bardzo dobrej znajomości: Python, Java lub Scala oraz zaawansowanego SQL.
- Znajomości narzędzi: PowerBI, SSIS, SSRS.
- Doświadczenia z CI/CD w kontekście procesów danych.
- Umiejętności analitycznego myślenia, dobrej komunikacji i nastawienia na współpracę w zespole.
- Posługiwania się językiem angielskim w codziennej pracy (swobodnie w mowie i piśmie).