Data Engineer: Microsoft Fabric & PySpark on Azure
Summary
The Data Engineer will build data pipelines using Microsoft Fabric, Data Factory, and PySpark, while managing data onboarding, transformation, and validation. The role involves implementing CI/CD practices and collaborating with risk teams to ensure data compliance in a hybrid work environment.
Scalosoft w Warszawie poszukuje Data Engineera do realizacji pipeline’ów w Data Factory oraz PySpark, onboarding źródeł danych, transformacji i walidacji jakości danych. Do obowiązków należy również wersjonowanie, repozytoryzacja oraz CI/CD, a także współpraca z zespołem ds. ryzyka i zapewnienie zgodności z przepisami.
Model współpracy: hybrydowy (1x w tygodniu w Warszawie). Wymagane doświadczenie z PySpark/SQL, platformami chmurowymi oraz Delta/Parquet.