Data Engineer – Python / Airflow / Azure Databricks (m/w/d)
Summary
The Data Engineer will develop and maintain data products and pipelines while migrating an on-premise platform to an Azure Databricks Lakehouse architecture. The role involves working with Python, Apache Airflow, and SQL to ensure data quality and performance within a collaborative team environment.
Für ein anspruchsvolles Data-Engineering-Projekt bei einem etablierten Unternehmen in der Schweiz suchen wir einen erfahrenen Data Engineer. Im Fokus stehen die Weiterentwicklung einer bestehenden On-Premise-Datenplattform sowie die laufende Transformation in eine moderne Azure-Databricks- und Lakehouse-Architektur.
- Entwicklung und Weiterentwicklung von Data Products
- Aufbau und Pflege von Ingestion- und Transformationspipelines
- Sicherstellung von Datenqualität und Performance
- Entwicklung und Verwaltung von Apache-Airflow-DAGs
- Mitarbeit bei Architekturentscheidungen rund um die Data Platform
- Unterstützung der Migration in Richtung Azure Databricks
- Zusammenarbeit mit Data Architect, DevOps Engineer und Product Owner
- Unterstützung interner Nutzer bei Data-, Plattform- und Python-Themen
- Mehrjährige Erfahrung als Data Engineer
- Sehr gute Kenntnisse in Python, insbesondere pandas, polars und Poetry
- Fundierte Erfahrung mit Apache Airflow
- Sehr gute SQL- und PostgreSQL-Kenntnisse
- Erfahrung mit Azure Databricks
- Kenntnisse in Docker, Kubernetes oder OpenShift
- Erfahrung mit Azure DevOps / CI/CD
- Verständnis von Data Mesh, Data Contracts und Lakehouse-Architekturen
- Idealerweise Erfahrung mit JupyterHub, Acryl DataHub und MinIO S3
- Selbständige und proaktive Arbeitsweise mit hoher Kommunikationsfähigkeit