Data Engineer Mid-Level (m/w/d)

Lakehouse & Data Engineering (ca. 50%):

• Konzeption, Aufbau und Tuning performanter Pipelines auf Basis von Databricks.

• Datenmodellierung mit dbt sowie Orchestrierung robuster DAGs via Apache Airflow.

• Governance & Performance:

  • Etablierung automatisierter Data-Quality-Prüfungen, Data Lineage und Cluster-Optimierung.

  • Analytics & Data Apps (ca. 25%):

    • Aufbau einer semantischen Metriken-Schicht und Self-Service-BI in Lightdash.

    • Entwicklung interaktiver Analyse-Tools und Data Apps in Python (Streamlit).

    • Data Science & ML (ca. 25%):

      • Explorative Analysen, Prototyping und Training von ML-Modellen (z. B. Prognosen, Anomalien).

      • MLOps & Business-Integration:

        • Experiment-Tracking auf Databricks und Bereitstellung der Ergebnisse für Fachbereiche.

Berufserfahrung:

• Mindestens 2–4 Jahre Praxis im Data Engineering, Analytics Engineering oder einer vergleichbaren Rolle.

• Core Engineering Stack:

  • Fundierte Praxis mit Databricks (Delta Lake, Unity Catalog), dbt und Apache Airflow.

  • BI & Data Apps:

    • Erfahrung mit Lightdash (oder Interesse an code-basierter BI) sowie mit Streamlit.

    • Code & Datenbanksprachen:

      • Exzellentes SQL (Performance-Tuning, komplexe Joins) und sehr gutes Python (pandas, PySpark, scikit-learn).

      • Methodik & Best Practices:

        • Routinierter Umgang mit Git / CI/CD und modernen Modellierungskonzepten (Star-Schema).

        • Mindset & Sprachen:

          • Pragmatische Hands-on-Mentalität, starke Kommunikationsfähigkeit und sehr gutes Deutsch & Englisch.