Data Engineer (all genders welcome) (Datenbankentwickler/in)
Posted Updated 3
views
Summary
Data Engineer at COSMO CONSULT in Würzburg who designs, builds, and operates data pipelines and lakehouse/data-warehouse solutions for reporting, analytics, and AI use cases. Core stack: SQL, Python, Spark, and the Microsoft data platform (Fabric, Synapse, Data Factory, DevOps) with Git-based CI/CD in a hybrid team.
Dein Alltag, nur ohne Alltag
- Du entwickelst, implementierst und betreibst moderne Datenpipelines über unterschiedliche Datenquellen hinweg.
- Du konzipierst und realisierst Lakehouse- und Data-Warehouse-Lösungen für Reporting-, Analytics- und AI-Anforderungen.
- Du integrierst neue Datenquellen und entwickelst Ingestion-, Transformations- und Orchestrierungsprozesse.
- Du setzt Datenverarbeitungslogiken mit SQL, Python und modernen Data-Engineering-Technologien um.
- Du arbeitest eng mit Product Ownern, Fachbereichen und Consumer-Teams zusammen, um Anforderungen in technische Lösungen zu übersetzen.
- Du stellst Datenqualität, Stabilität und Performance durch Monitoring, Testing und automatisierte Prozesse sicher.
- Du analysierst Fehlerursachen, optimierst bestehende Datenprozesse und sorgst für einen zuverlässigen Betrieb.
Hier bringst Du Dich ein
- Du entwickelst skalierbare Datenplattformen und wiederverwendbare Pipeline-Standards weiter.
- Du gestaltest moderne Datenarchitekturen entlang von Lakehouse-, Warehouse- und Medallion-Prinzipien.
- Du etablierst nachhaltige Datenmodelle für Reporting, Analytics und datengetriebene Entscheidungen.
- Du verantwortest die Qualität, Performance und Wirtschaftlichkeit von Datenlösungen.
- Du setzt DevOps-Prinzipien wie Versionierung, Code Reviews, Continuous Integration und Continuous Delivery (CI/CD) sowie automatisierte Deployments konsequent um.
- Du setzt moderne KI-Werkzeuge in Deinem Arbeitsalltag ein und nutzt sie, um Entwicklungsprozesse effizienter und qualitativ hochwertiger zu gestalten.
- Du bringst neue Technologien, Cloud-Services und KI-nahe Datenlösungen in unsere Projekte ein.
- Du dokumentierst Datenflüsse, Modelle und Zusammenhänge und unterstützt den Wissenstransfer im Team.
Dein Umfeld: Team, Tools, Zusammenarbeit
Team & Setup
- Du arbeitest in einem interdisziplinären Team aus Data Engineers, Consultants, Architektinnen und Analytics-Spezialistinnen.
- Du profitierst von einem flexiblen und hybriden Arbeitsmodell mit hoher Eigenverantwortung.
- Du arbeitest eng mit Fachbereichen sowie Expert*innen aus Data, AI und Business Analytics zusammen.
Tools & Arbeitsweise
- Du arbeitest mit SQL, Python, Spark sowie Microsoft Fabric, Azure Synapse Analytics, Azure Data Factory und Azure DevOps.
- Du nutzt moderne Entwicklungsstandards mit Git, Pull Requests, Code Reviews und CI/CD-Pipelines.
- Du setzt KI-gestützte Werkzeuge gezielt ein, um Entwicklungs-, Analyse- und Dokumentationsaufgaben effizient zu unterstützen.
Deine Lernkurve bei COSMO CONSULT
Woche 1 bis 4: Ankommen und verstehen
- Du lernst unsere Datenplattformen, Kundenprojekte und Architekturprinzipien kennen.
- Du arbeitest Dich in unsere Datenmodelle, Entwicklungsprozesse und Deployment-Standards ein.
- Du übernimmst erste Aufgaben in bestehenden Datenintegrations- und Analytics-Projekten.
Nach 3 Monaten: Übernehmen und umsetzen
- Du verantwortest eigene Datenpipelines und technische Arbeitspakete.
- Du setzt Anforderungen selbstständig in belastbare Datenlösungen um.
- Du arbeitest sicher mit unseren Cloud-, DevOps- und Deployment-Prozessen.
Nach 6 Monaten: Weiterentwickeln und mitgestalten
- Du gestaltest aktiv die Weiterentwicklung unserer Datenplattformen mit.
- Du bringst eigene Ideen zu Architektur, Automatisierung, Datenqualität und KI-gestützten Arbeitsweisen ein.
- Du etablierst Dich als kompetente Ansprechperson für moderne Data-Engineering-Themen.
Das bringst Du mit
- Erste praktische Erfahrung oder Berufserfahrung im Aufbau und Betrieb von Data-Warehouse-, BI- oder Analytics-Lösungen.
- Gute Kenntnisse in SQL sowie erste Erfahrungen mit Python, Spark oder vergleichbaren Technologien.
- Kenntnisse in der Entwicklung von ETL- beziehungsweise ELT-Prozessen und Datenpipelines.
- Grundlegendes Verständnis von Datenmodellierung sowie modernen Lakehouse- oder Warehouse-Architekturen.
- Erste Erfahrungen mit Versionskontrolle, Code Reviews und CI/CD im Datenkontext.
- Erfahrungen mit Microsoft Fabric, Azure Synapse Analytics, Azure Data Factory oder vergleichbaren Plattformen sind von Vorteil.
- Interesse an modernen AI- und Data-Platform-Ansätzen.
- Fähigkeit, fachliche Anforderungen strukturiert in technische Lösungen zu übersetzen.
- Strukturierte Arbeitsweise sowie Spaß daran, Neues zu lernen.
- Sehr gute Deutsch- und gute Englischkenntnisse.
Deine Vorteile.
- Flexible Arbeitszeiten
- Weiterentwicklung
- Innovation Challenge
- Events
- Sprachkurse
- Vielfältige Benefits
- Du entwickelst, implementierst und betreibst moderne Datenpipelines über unterschiedliche Datenquellen hinweg.
- Du konzipierst und realisierst Lakehouse- und Data-Warehouse-Lösungen für Reporting-, Analytics- und AI-Anforderungen.
- Du integrierst neue Datenquellen und entwickelst Ingestion-, Transformations- und Orchestrierungsprozesse.
- Du setzt Datenverarbeitungslogiken mit SQL, Python und modernen Data-Engineering-Technologien um.
- Du arbeitest eng mit Product Ownern, Fachbereichen und Consumer-Teams zusammen, um Anforderungen in technische Lösungen zu übersetzen.
- Du stellst Datenqualität, Stabilität und Performance durch Monitoring, Testing und automatisierte Prozesse sicher.
- Du analysierst Fehlerursachen, optimierst bestehende Datenprozesse und sorgst für einen zuverlässigen Betrieb.
Hier bringst Du Dich ein
- Du entwickelst skalierbare Datenplattformen und wiederverwendbare Pipeline-Standards weiter.
- Du gestaltest moderne Datenarchitekturen entlang von Lakehouse-, Warehouse- und Medallion-Prinzipien.
- Du etablierst nachhaltige Datenmodelle für Reporting, Analytics und datengetriebene Entscheidungen.
- Du verantwortest die Qualität, Performance und Wirtschaftlichkeit von Datenlösungen.
- Du setzt DevOps-Prinzipien wie Versionierung, Code Reviews, Continuous Integration und Continuous Delivery (CI/CD) sowie automatisierte Deployments konsequent um.
- Du setzt moderne KI-Werkzeuge in Deinem Arbeitsalltag ein und nutzt sie, um Entwicklungsprozesse effizienter und qualitativ hochwertiger zu gestalten.
- Du bringst neue Technologien, Cloud-Services und KI-nahe Datenlösungen in unsere Projekte ein.
- Du dokumentierst Datenflüsse, Modelle und Zusammenhänge und unterstützt den Wissenstransfer im Team.
Dein Umfeld: Team, Tools, Zusammenarbeit
Team & Setup
- Du arbeitest in einem interdisziplinären Team aus Data Engineers, Consultants, Architektinnen und Analytics-Spezialistinnen.
- Du profitierst von einem flexiblen und hybriden Arbeitsmodell mit hoher Eigenverantwortung.
- Du arbeitest eng mit Fachbereichen sowie Expert*innen aus Data, AI und Business Analytics zusammen.
Tools & Arbeitsweise
- Du arbeitest mit SQL, Python, Spark sowie Microsoft Fabric, Azure Synapse Analytics, Azure Data Factory und Azure DevOps.
- Du nutzt moderne Entwicklungsstandards mit Git, Pull Requests, Code Reviews und CI/CD-Pipelines.
- Du setzt KI-gestützte Werkzeuge gezielt ein, um Entwicklungs-, Analyse- und Dokumentationsaufgaben effizient zu unterstützen.
Deine Lernkurve bei COSMO CONSULT
Woche 1 bis 4: Ankommen und verstehen
- Du lernst unsere Datenplattformen, Kundenprojekte und Architekturprinzipien kennen.
- Du arbeitest Dich in unsere Datenmodelle, Entwicklungsprozesse und Deployment-Standards ein.
- Du übernimmst erste Aufgaben in bestehenden Datenintegrations- und Analytics-Projekten.
Nach 3 Monaten: Übernehmen und umsetzen
- Du verantwortest eigene Datenpipelines und technische Arbeitspakete.
- Du setzt Anforderungen selbstständig in belastbare Datenlösungen um.
- Du arbeitest sicher mit unseren Cloud-, DevOps- und Deployment-Prozessen.
Nach 6 Monaten: Weiterentwickeln und mitgestalten
- Du gestaltest aktiv die Weiterentwicklung unserer Datenplattformen mit.
- Du bringst eigene Ideen zu Architektur, Automatisierung, Datenqualität und KI-gestützten Arbeitsweisen ein.
- Du etablierst Dich als kompetente Ansprechperson für moderne Data-Engineering-Themen.
Das bringst Du mit
- Erste praktische Erfahrung oder Berufserfahrung im Aufbau und Betrieb von Data-Warehouse-, BI- oder Analytics-Lösungen.
- Gute Kenntnisse in SQL sowie erste Erfahrungen mit Python, Spark oder vergleichbaren Technologien.
- Kenntnisse in der Entwicklung von ETL- beziehungsweise ELT-Prozessen und Datenpipelines.
- Grundlegendes Verständnis von Datenmodellierung sowie modernen Lakehouse- oder Warehouse-Architekturen.
- Erste Erfahrungen mit Versionskontrolle, Code Reviews und CI/CD im Datenkontext.
- Erfahrungen mit Microsoft Fabric, Azure Synapse Analytics, Azure Data Factory oder vergleichbaren Plattformen sind von Vorteil.
- Interesse an modernen AI- und Data-Platform-Ansätzen.
- Fähigkeit, fachliche Anforderungen strukturiert in technische Lösungen zu übersetzen.
- Strukturierte Arbeitsweise sowie Spaß daran, Neues zu lernen.
- Sehr gute Deutsch- und gute Englischkenntnisse.
Deine Vorteile.
- Flexible Arbeitszeiten
- Weiterentwicklung
- Innovation Challenge
- Events
- Sprachkurse
- Vielfältige Benefits