Senior Databricks / Data Engineer | Azure Databricks (m/w/d)
Summary
Hands-on senior data engineering role building and optimizing data & analytics solutions on Azure Databricks within an agile engineering team. Day to day: developing complex data pipelines with Python, PySpark and Spark SQL, contributing to lakehouse platforms, and testing, monitoring and performance-tuning production data systems.
In dieser Rolle arbeiten Sie als hands-on Senior Databricks/Data Engineer an der Entwicklung moderner Data & Analytics-Lösungen auf Basis von Azure Databricks. Sie arbeiten eng in einem Engineering-Team an der Optimierung von Datenpipelines, Leistungsfähigkeit und Lakehouse-Plattformen. Sie tauchen tief in Code, Pipelines und Performance-Tuning ein und tragen zur Qualität und Skalierbarkeit der Data-Architektur bei. Die Position bietet die Chance, Ihre Expertise in einer globalen Tech-Umgebung zu nutzen und signifikanten Einfluss auf produktive Datensysteme zu haben.
Verantwortungsbereiche- Entwicklung und Weiterentwicklung von Data-& Analytics-Lösungen auf Basis von Azure Databricks
- Aufbau, Optimierung und Betrieb komplexer Datenpipelines
- Entwicklung performanter Datenprozesse mit Python, PySpark und Spark SQL
- Mitarbeit beim Aufbau und der Weiterentwicklung von Lakehouse-Plattformen
- Testing, Monitoring und Performance-Tuning produktiver Datenlösungen
- Troubleshooting und Fehleranalyse in Databricks-Umgebungen
- Mitarbeit in einem agilen Engineering-Team mit hohem Qualitätsanspruch
- Mehrjährige praktische Erfahrung mit Azure Databricks
- Sehr gute Kenntnisse in Python, PySpark und Spark SQL
- Erfahrung in der Entwicklung und Optimierung komplexer Datenpipelines
- Fundierte Kenntnisse im Aufbau von Data-& Analytics- oder Lakehouse-Plattformen
- Erfahrung mit Delta Lake
- Erfahrung mit Databricks Jobs & Workflows
- Erfahrung mit Azure Data Lake
- CI/CD und Git
- Ausgeprägte Software-Engineering-Mentalität
- sauberer, performanter Code
- Teamfähigkeit
- Azure Databricks
- Python
- PySpark