Data Engineer Databricks / Lakehouse (m/w/d)
Summary
Data engineer at 1&1 who designs, builds, and operates ETL/ELT pipelines in Python/PySpark on Databricks, migrating legacy MS SQL Server data-warehouse structures to a scalable Lakehouse architecture. Works closely with BI, analytics, and architecture teams on data quality, governance, and performance optimization.
In dieser Rolle gestalten Sie die Transformation der Datenlandschaft hin zu einer skalierbaren Lakehouse-Architektur auf Databricks. Sie legen die Grundlage für datengetriebene Entscheidungen und innovative AI-Anwendungsfälle. Sie entwickeln ETL-/ELT-Pipelines mit Python (PySpark) und treiben die Migration von klassischen Data-Warehouse-Strukturen zu modernen Lakehouse-Lösungen. Sie arbeiten eng mit BI, Analytics, Architektur und Fachbereichen zusammen und liefern stabile, auditierbare Pipelines sowie Governance-Dokumentation.
Leistungen / Benefits- Attraktives Gehalt
- flexible Arbeitszeiten mit remote-Option
- Weiterbildungsmöglichkeiten
- Rabatte auf 1&1 Produkte
- Betriebsrestaurant
- Getränke und Obst
- Entwurf, Entwicklung und Betrieb moderner ETL-/ELT-Pipelines auf PySpark/Databricks
- Migration von MS SQL Server/Data-Warehouse-Architekturen hin zu Lakehouse-Lösungen
- Erstellung differenzierter Pipeline-Logiken zur Stabilität, SLA-Konformität und Auditierbarkeit
- Implementierung von Datenqualitätsprüfungen (Validierung, Reconciliation, Quality Checks)
- Sicherstellung der Datenkonsistenz während der Migration
- Durchführung von Transformations- und Metadaten-Anreicherung gemäß Zielarchitektur
- Performance-, Kosten- und Skalierbarkeitsoptimierung von Pipelines
- Monitoring von Pipeline-Laufzeiten, Ressourcennutzung und Systemstabilität
- Enge Zusammenarbeit mit BI/Analytics/Architektur- und Entwicklungsteams
- Dokumentation und Governance der technischen Systeme
- Abgeschlossenes Studium in Informatik oder vergleichbar
- Mehrjährige Data-Engineering-Erfahrung (ca. 3–6 Jahre)
- Sehr gute Python-Kenntnisse (insb. PySpark)
- Fundierte Spark-/Databricks-Erfahrung
- Starkes Verständnis von ETL/ELT, Datenmodellierung und Orchestrierung
- Erfahrung mit Microsoft SQL Server und sehr guten SQL-Kenntnissen
- Analytische, strukturierte, lösungsorientierte Arbeitsweise
- Erfahrung mit Databricks Lakehouse, Delta Lake und Structured Streaming
- Kenntnisse in Orchestrierungstools (z. B. Airflow, Databricks Workflows)
- Verständnis von Data Governance, Compliance und Metadatenmanagement
- Analytische Denkweise
- strukturierte Arbeitsweise
- teamorientierte Zusammenarbeit
- Python/PySpark
- Apache Spark
- Databricks Lakehouse