Data Engineer - Schwerpunkt Automatisierung
Posted Updated 15
views
Summary
Data Engineer at HDI Group (insurance) in Hilden, Germany who builds and operates batch and streaming data pipelines to supply curated data products for AI and automation solutions. Focus areas include data quality, lineage, monitoring, governance (VAIT/ITIL), and standardized Azure cloud deployments, using Python, SQL, and workflow tools like Camunda/BPMN.
Deine Aufgaben
- Aufbau und Betrieb belastbarer Datenpipelines (Batch & Streaming) für automatisierte End‑to‑End‑Prozesse – von der Anbindung operativer Quellsysteme bis zur Bereitstellung kuratierter Datenprodukte für KI‑ und Automatisierungslösungen
- Modellierung, Transformation und Versionierung von Daten inkl. sauberer Schnittstellen (APIs, Events/Messaging) und klarer Schemaverwaltung
- Datenqualität, Telemetrie & Observability: Implementierung von Data‑Quality‑Checks, Monitoring/Alerting, Lineage und Kosten‑Transparenz zur stabilen Produktion
- Governance & Dokumentation: Erstellung der erforderlichen Nachweise und Artefakte (u. a. VAIT, ITIL), inkl. Betriebs‑ und Sicherheitskonzepte, sowie kontinuierliche Qualitätssicherung
- Enge Zusammenarbeit mit AI Engineers, RPA/Workflow‑Entwicklung und Fachbereichen: Datenservices bereitstellen, die KI‑Services und Automatisierungen performant und nachvollziehbar versorgen
- Cloud‑Architekturen & Standardisierung: Aufbau und Pflege standardisierter Deployments, Policies und Zugriffsmodelle auf der Unternehmens‑Cloud (z. B. Azure) – inkl. Kosten‑ und Leistungsoptimierung
- Enablement & Beratung: Data‑Engineering‑Best‑Practices teilen, Guidelines und wiederverwendbare Komponenten (Templates, Libraries) entwickeln; Management‑ und Projektgremien mit Entscheidungsgrundlagen versorgen
- Testkonzepte & Risk‑Analysen: Definition von Teststrategien, Abnahme‑Kriterien und Rollback‑Plänen; aktive Mitwirkung an Release‑ und Betriebsprozessen
Dein Profil
- Abgeschlossenes Studium der Informatik, Data Science, Mathematik oder eine vergleichbare Qualifikation
- Sehr gute Kenntnisse in Python und SQL für Datenintegration, Transformation und Automatisierungs‑Workflows
- Erfahrung mit Cloud‑Datenplattformen
- Vertraut mit Datenqualität, Lineage, Monitoring und Betriebsprozessen inkl. Dokumentationspflichten nach VAIT/ITIL
- Kenntnisse in Workflow‑/Orchestrierungsframeworks (z. B. BPMN/Camunda) und Schnittstellen zu Automatisierungsplattformen sind ein Plus
- Erfahrung im Aufbau produktiver KI‑Services und Cloud‑Architekturen
- Begeisterung für neue Technologien rund um Automatisierung & KI
- Kreativität, Problemlösungskompetenz und Eigeninitiative
- Spaß an der Arbeit in einem agilen Umfeld sowie Teamfähigkeit
- Hohe Einsatzbereitschaft und Belastbarkeit