Azure Data Engineer
Summary
Designs and builds data pipelines, processing solutions and data products on the Azure platform using Databricks, Python and Apache Spark. Day to day the engineer works with Data Lake, Data Factory/Synapse and Unity Catalog, integrates data with other systems, and optimizes performance, scalability and cost.
Zakres obowiązków:
Projektowanie i rozwój pipeline’ów danych oraz rozwiązań przetwarzania danych w oparciu o Azure Databricks i Python
Budowa i utrzymanie rozwiązań na platformie Azure Data (Data Lake, Data Factory, Synapse)
Tworzenie i rozwój Data Products oraz zarządzanie nimi (Unity Catalog)
Współpraca z biznesem — zbieranie wymagań i przekładanie ich na rozwiązania techniczne
Dbanie o jakość danych, bezpieczeństwo oraz zgodność z wymaganiami
Integracja rozwiązań danych z innymi systemami w organizacji
Usprawnianie wydajności, skalowalności i kosztów rozwiązań
Wymagania:
Bardzo dobra znajomość:
Azure Databricks
Python
Apache Spark
Doświadczenie z usługami Azure:
Data Lake (ADLS Gen2)
Data Factory / Synapse
Znajomość API (REST lub podobne)
Doświadczenie w projektowaniu ETL oraz modelowaniu danych
Podstawowa znajomość architektury danych
Doświadczenie z CI/CD i Git
Umiejętność rozwiązywania problemów i pracy w metodykach Agile
Dobre umiejętności komunikacyjne (współpraca z biznesem i zespołami technicznymi)
Mile widziane:
Doświadczenie z przetwarzaniem dużych zbiorów danych (big data, streaming)
Znajomość Unity Catalog oraz zasad data governance
Doświadczenie z narzędziami wizualizacji danych (np. Power BI)
Znajomość Databricks Asset Bundles