Data Engineer | Krakow
Posted 6
views
Summary
Build and maintain scalable data pipelines and ETL/ELT processes on the Azure platform for large data volumes, optimizing Spark performance and working alongside data scientists and architects. Core tech: PySpark, Python, Azure Data Factory, SQL.
Budowa i utrzymanie skalowalnych potoków danych oraz procesów ETL/ELT na platformie Azure dla dużych wolumenów danych, z optymalizacją wydajności Spark i pracą w zespole z data scientistami i architektami. To rola dla samodzielnego inżyniera, który lubi rozwiązywać problemy wydajnościowe i pracować z rozproszonym przetwarzaniem.
Uwaga: część pracy może polegać na naprawianiu i utrzymaniu istniejących rozwiązań, które nie spełniają obecnych standardów.
- 6-10 lat ogólnego doświadczenia w IT, w tym w inżynierii danych;
- 4-5 lat praktycznego doświadczenia z PySpark i Python;
- doświadczenie z Azure Data Factory (ADF): pipeline, orkiestracja, harmonogramowanie, monitoring;
- znajomość technik optymalizacji Spark (partycjonowanie, caching, optymalizacja joinów i zapytań);
- doświadczenie z rozproszonymi systemami przetwarzania danych na dużą skalę;
- znajomość SQL, relacyjnych baz danych i modelowania danych