Data Engineer – Python / Airflow / Azure Databricks (m/w/d)
Summary
This Data Engineer role involves developing data products and migrating an on-premise platform to an Azure Databricks Lakehouse architecture. The position requires strong expertise in Python, SQL, and Apache Airflow to build and maintain data pipelines.
Für ein anspruchsvolles Data-Engineering-Projekt bei einem etablierten Unternehmen in der Schweiz suchen wir einen erfahrenen Data Engineer. Im Fokus stehen die Weiterentwicklung einer bestehenden On-Premise-Datenplattform sowie die laufende Transformation in eine moderne Azure-Databricks- und Lakehouse-Architektur.
-
Entwicklung und Weiterentwicklung von Data Products
-
Aufbau und Pflege von Ingestion- und Transformationspipelines
-
Sicherstellung von Datenqualität und Performance
-
Entwicklung und Verwaltung von Apache-Airflow-DAGs
-
Mitarbeit bei Architekturentscheidungen rund um die Data Platform
-
Unterstützung der Migration in Richtung Azure Databricks
-
Zusammenarbeit mit Data Architect, DevOps Engineer und Product Owner
-
Unterstützung interner Nutzer bei Data-, Plattform- und Python-Themen
-
Mehrjährige Erfahrung als Data Engineer
-
Sehr gute Kenntnisse in Python, insbesondere pandas, polars und Poetry
-
Fundierte Erfahrung mit Apache Airflow
-
Sehr gute SQL- und PostgreSQL-Kenntnisse
-
Erfahrung mit Azure Databricks
-
Kenntnisse in Docker, Kubernetes oder OpenShift
-
Erfahrung mit Azure DevOps / CI/CD
-
Verständnis von Data Mesh, Data Contracts und Lakehouse-Architekturen
-
Idealerweise Erfahrung mit JupyterHub, Acryl DataHub und MinIO S3
-
Selbständige und proaktive Arbeitsweise mit hoher Kommunikationsfähigkeit
PROSTAFF vermittelt und besetzt Informatik- und Data Science-Projekte in der Schweiz mit Freiberuflern, Freelancern, Contractors und temporären Mitarbeitern.