Senior Data Engineer (m/w/d)
Summary
Senior Data Engineer at Ernstings family in Coesfeld, Germany, operating and evolving a Databricks-based data engineering and analytics platform: building ETL/ELT pipelines and curated datasets, ensuring data quality and governance, and running analytics/ML/AI pipelines with DevOps/MLOps practices using Python, SQL, Azure/AWS, and Terraform.
In dieser Rolle betreibst und entwickelst du unsere Data-Engineering- und Analytics-Plattform auf Databricks weiter. Du arbeitest eng mit Data Scientists, Datenarchitekten und Fachbereichen zusammen, um Pipelines und kuratierte Datensätze für datengetriebene Entscheidungen und KI-Anwendungen bereitzustellen. Du sicherst Datenqualität, automatisierst Validierungen und Governance, und betreibst Analytics-/ML-/KI-Pipelines nach DevOps/MLOps-Prinzipien. Du treibst die Weiterentwicklung von Prinzipien, Standards und neuen Technologien voran, um skalierbare Daten- und KI-Infrastrukturen zu gestalten. Diese Position bietet die Chance, maßgeblich Einfluss auf Dateninfrastruktur und datengetriebene-K
Leistungen / Benefits- Urlaubs- und Weihnachtsgeld
- BAV
- VL
- Corporate Benefits
- Personalrabatt
- Bike-Leasing
- Betrieb und Weiterentwicklung der Data-Engineering- und Analytics-Plattform auf Basis von Databricks
- Entwicklung von Datenpipelines und kuratierten Datensätzen
- Datenintegration und -transformation aus vielfältigen Quellsystemen
- Sicherung der Datenqualität durch automatische Validierungen, Monitoring, Alerts und Governance
- Operationalisierung von Analytics-, ML- und KI-Pipelines nach DevOps/MLOps mit CI/CD und reproduzierbaren Deployments
- Weiterentwicklung von Data-Engineering-Prinzipien und -Standards sowie Einführung neuer Technologien und Best Practices
- Mehrjährige Erfahrung als Data Engineer im Aufbau und Betrieb cloud-nativer ETL/ELT-, Batch- und Streaming-Pipelines
- Sehr gute Deutsch- und Englischkenntnisse
- Databricks-Kenntnisse
- Cloud-Expertise (Azure und/oder AWS)
- Ausgezeichnete Python- und SQL-Kenntnisse
- Erfahrung mit Orchestrierung, CI/CD, Infrastructure as Code (Terraform) und Containerisierung
- Fundiertes Verständnis von Datenmodellierung, Lakehouse-Prinzipien und Governance
- Motivation, eigenverantwortlich zu arbeiten und sich in Geschäftsprozesse einzuarbeiten
- Teamorientierung, Kommunikationsstärke, Eigeninitiative und Qualitätsbewusstsein
- Teamorientierung
- Kommunikationsstärke
- Eigeninitiative
- Databricks
- Azure und/oder AWS Cloud-Expertise
- SAP Datasphere (wünschenswert)