UC
Unknown company
NewBe an early applicant
Senior Data Engineer
Posted Updated
Senior Data Engineer (2 FTE)
€ Geen max uurtarief
Vakgebied ICT Informatievoorziening
Als Senior Data Engineer speel je een belangrijke rol in de verdere ontwikkeling van het centrale data- en analyticsplatform (CREDO). Je werkt aan zowel de oplevering van dataproducten als de doorontwikkeling en het beheer van het platform, met focus op migratie naar Microsoft Fabric, performanceoptimalisatie, datakwaliteit, monitoring en kostenbeheersing. Platform en architectuur:
CREDO is gebaseerd op een lakehouse-architectuur in Microsoft Azure, met een medallion-structuur en Delta Lake. De organisatie migreert naar Microsoft Fabric; werk vindt plaats binnen een metadata-gedreven aanpak met aandacht voor data governance, kwaliteit en veiligheid. Resultaat van de opdracht - Geïmplementeerde roadmaponderdelen die aansluiten op de doelarchitectuur. - Werkende en gedocumenteerde datapipelines. - Ontwikkelde PySpark-notebooks. - Ontworpen en gerealiseerde dimensionele datamodellen. - Oplossingen voor ontsluiting en verwerking van gestructureerde en ongestructureerde databronnen. - Verbeteringen op het gebied van performance, datakwaliteit, monitoring en kostenbeheersing. Werkzaamheden - Bijdragen aan de verdere ontwikkeling van het CREDO-dataplatform en realiseren van speerpunten op de roadmap. - Implementeren van de migratie van Azure Synapse naar Microsoft Fabric op basis van intermediate en target state architectures. - Omzetten van bestaande pipelines, notebooks en datamodellen naar Microsoft Fabric. - Ontwikkelen en onderhouden van schaalbare datapipelines en PySpark-notebooks binnen de medallion-architectuur (bronze, silver, gold). - Optimaliseren van prestaties en kosten van datapipelines en dataverwerking. - Ontwerpen en implementeren van dimensionele datamodellen. - Ontsluiten en verwerken van gestructureerde en ongestructureerde databronnen binnen complexe bronlandschappen. - Implementeren van data quality frameworks en controles binn...
€ Geen max uurtarief
Vakgebied ICT Informatievoorziening
Als Senior Data Engineer speel je een belangrijke rol in de verdere ontwikkeling van het centrale data- en analyticsplatform (CREDO). Je werkt aan zowel de oplevering van dataproducten als de doorontwikkeling en het beheer van het platform, met focus op migratie naar Microsoft Fabric, performanceoptimalisatie, datakwaliteit, monitoring en kostenbeheersing. Platform en architectuur:
CREDO is gebaseerd op een lakehouse-architectuur in Microsoft Azure, met een medallion-structuur en Delta Lake. De organisatie migreert naar Microsoft Fabric; werk vindt plaats binnen een metadata-gedreven aanpak met aandacht voor data governance, kwaliteit en veiligheid. Resultaat van de opdracht - Geïmplementeerde roadmaponderdelen die aansluiten op de doelarchitectuur. - Werkende en gedocumenteerde datapipelines. - Ontwikkelde PySpark-notebooks. - Ontworpen en gerealiseerde dimensionele datamodellen. - Oplossingen voor ontsluiting en verwerking van gestructureerde en ongestructureerde databronnen. - Verbeteringen op het gebied van performance, datakwaliteit, monitoring en kostenbeheersing. Werkzaamheden - Bijdragen aan de verdere ontwikkeling van het CREDO-dataplatform en realiseren van speerpunten op de roadmap. - Implementeren van de migratie van Azure Synapse naar Microsoft Fabric op basis van intermediate en target state architectures. - Omzetten van bestaande pipelines, notebooks en datamodellen naar Microsoft Fabric. - Ontwikkelen en onderhouden van schaalbare datapipelines en PySpark-notebooks binnen de medallion-architectuur (bronze, silver, gold). - Optimaliseren van prestaties en kosten van datapipelines en dataverwerking. - Ontwerpen en implementeren van dimensionele datamodellen. - Ontsluiten en verwerken van gestructureerde en ongestructureerde databronnen binnen complexe bronlandschappen. - Implementeren van data quality frameworks en controles binn...