Data Engineer – Azure Databricks
Summary
Data Engineer building and optimizing scalable data pipelines and ETL/ELT processes on Microsoft Azure using Azure Databricks, Python, PySpark, and Azure Data Factory, plus CI/CD, automated testing, and data quality work. Fully remote B2B role (up to 130 PLN net/h) on a long-term international Azure project; very good English required.
W współpracujemy z czołowymi firmami z branży IT, wspierając je w realizacji nowoczesnych projektów technologicznych.
Informacje o roli
Poszukujemy Data Engineera, który będzie rozwijać skalowalne rozwiązania danych w środowisku Microsoft Azure, wykorzystując Azure Databricks, Python, PySpark i Azure Data Factory.
Praca: 100% zdalna
Forma współpracy: B2B
Język angielski: bardzo dobry
Start: do ustalenia
Twoje zadania
budowa i optymalizacja pipeline'ów danych oraz procesów ETL/ELT,
przetwarzanie danych przy użyciu Pythona i PySpark,
rozwijanie rozwiązań opartych na Azure Databricks, Data Factory i Azure Storage,
wdrażanie testów automatycznych, kontroli jakości danych i monitoringu,
udział w procesach CI/CD i automatyzacji wdrożeń,
rozwiązywanie problemów z wydajnością i skalowalnością,
współpraca z zespołami technicznymi i biznesowymi.
Czego oczekujemy?
min. 2 lat doświadczenia z Microsoft Azure,
praktycznej znajomości Azure Databricks, Azure Data Factory i Azure DevOps,
bardzo dobrej znajomości Pythona i PySpark,
dobrej znajomości SQL, modelowania danych i procesów ETL/ELT,
doświadczenia z CI/CD, testami automatycznymi i TDD,
znajomości zagadnień data quality, data governance i data integration,
doświadczenia w pracy w środowisku DevOps i Agile/Scrum,
bardzo dobrej znajomości języka angielskiego.
Mile widziane
doświadczenie z hurtowniami danych lub Big Data.
100% pracy zdalnej,
stawkę do 130 PLN netto + VAT/h na B2B,
długoterminową współpracę,
międzynarodowy projekt wykorzystujący nowoczesne technologie Azure.