Azure Data Engineer: Data Pipelines & Lakehouse Expert
Summary
Designs, builds, and maintains data pipelines and lakehouse solutions on the Azure data platform (Databricks, Data Lake, Data Factory, Synapse) using Python and Apache Spark. Works closely with business stakeholders to turn requirements into data products, ensuring quality, security, and cost/performance efficiency.
🚀 Zakres obowiązków:
Projektowanie i rozwój pipeline’ów danych oraz rozwiązań przetwarzania danych w oparciu o Azure Databricks i Python
Budowa i utrzymanie rozwiązań na platformie Azure Data (Data Lake, Data Factory, Synapse)
Tworzenie i rozwój Data Products oraz zarządzanie nimi (Unity Catalog)
Współpraca z biznesem — zbieranie wymagań i przekładanie ich na rozwiązania techniczne
Dbanie o jakość danych, bezpieczeństwo oraz zgodność z wymaganiami
Integracja rozwiązań danych z innymi systemami w organizacji
Usprawnianie wydajności, skalowalności i kosztów rozwiązań
🛠️ Wymagania:
Bardzo dobra znajomość:
Azure Databricks
Python
Apache Spark
Doświadczenie z usługami Azure:
Data Lake (ADLS Gen2)
Data Factory / Synapse
Znajomość API (REST lub podobne)
Doświadczenie w projektowaniu ETL oraz modelowaniu danych
Podstawowa znajomość architektury danych
Doświadczenie z CI/CD i Git
Umiejętność rozwiązywania problemów i pracy w metodykach Agile
Dobre umiejętności komunikacyjne (współpraca z biznesem i zespołami technicznymi)
➕ Mile widziane:
Doświadczenie z przetwarzaniem dużych zbiorów danych (big data, streaming)
Znajomość Unity Catalog oraz zasad data governance
Doświadczenie z narzędziami wizualizacji danych (np. Power BI)
Znajomość Databricks Asset Bundles