UC
Unknown company
NewBe an early applicant
Senior Data Engineer
Posted Updated
Utrecht
Senior
36 uur per week
6 months
Startdatum op 26 oktober
Interim opdracht
21 Uur geleden
Nederlandse voedsel- en warenautoriteit Senior Data Engineer
NVWA | Bouwen en beheren van dataplatformen en datapijplijnen | SQL en Python | CI/CD
Opdrachtbeschrijving
Voor de Nederlandse Voedsel- en Warenautoriteit (NVWA) zoeken we een Senior Data Engineer voor een pilot waarin wordt onderzocht of een open source dataplatform de huidige analyse- en rapportageomgeving kan vervangen. De pilot wordt uitgevoerd aan de hand van een vooraf vastgesteld aantal casussen, die samen de keten van bronontsluiting tot en met ontsluiting naar de business afdekken.
De Senior Data Engineer is de inhoudelijke motor van de pilot: hij/zij bouwt de casussen daadwerkelijk en zorgt dat de betrokken ontwikkelaars uit de verschillende teams in staat zijn om zelf mee te bouwen. De werkzaamheden worden uitgevoerd onder aanwijzing en toezicht van de NVWA, binnen de kaders van het pilotplan en in afstemming met de projectleider.
Hoofdverantwoordelijkheden & Realisatie casussen: - Inrichten en uitwerken van de pilotcasussen op het open source dataplatform, met componenten als Apache NiFi, Apache Spark, Trino, Apache Iceberg, dbt, Apache Airflow, Superset, OpenMetadata en OPA op Kubernetes. - Bouwen van data-ingestie, transformatie en ontsluiting op basis van bestaande NVWA-databronnen. - Vertalen van bestaande functionaliteit uit de huidige analyse- en rapportageomgeving naar equivalenten in de nieuwe stack, en het vastleggen van verschillen en beperkingen. - Bewaken van het tempo: casussen worden binnen de afgesproken doorlooptijd afgerond en opgeleverd met reproduceerbare resultaten.
Samenwerking en kennisoverdracht: - Meenemen van ontwikkelaars uit de verschillende teams volgens het principe 'voordoen > samendoen > zelf doen'; de kennis blijft na afloop binnen de NVWA. - Faciliteren in plaats van sturen: ruimte laten aan de teams, maar wel voo...
Senior
36 uur per week
6 months
Startdatum op 26 oktober
Interim opdracht
21 Uur geleden
Nederlandse voedsel- en warenautoriteit Senior Data Engineer
NVWA | Bouwen en beheren van dataplatformen en datapijplijnen | SQL en Python | CI/CD
Opdrachtbeschrijving
Voor de Nederlandse Voedsel- en Warenautoriteit (NVWA) zoeken we een Senior Data Engineer voor een pilot waarin wordt onderzocht of een open source dataplatform de huidige analyse- en rapportageomgeving kan vervangen. De pilot wordt uitgevoerd aan de hand van een vooraf vastgesteld aantal casussen, die samen de keten van bronontsluiting tot en met ontsluiting naar de business afdekken.
De Senior Data Engineer is de inhoudelijke motor van de pilot: hij/zij bouwt de casussen daadwerkelijk en zorgt dat de betrokken ontwikkelaars uit de verschillende teams in staat zijn om zelf mee te bouwen. De werkzaamheden worden uitgevoerd onder aanwijzing en toezicht van de NVWA, binnen de kaders van het pilotplan en in afstemming met de projectleider.
Hoofdverantwoordelijkheden & Realisatie casussen: - Inrichten en uitwerken van de pilotcasussen op het open source dataplatform, met componenten als Apache NiFi, Apache Spark, Trino, Apache Iceberg, dbt, Apache Airflow, Superset, OpenMetadata en OPA op Kubernetes. - Bouwen van data-ingestie, transformatie en ontsluiting op basis van bestaande NVWA-databronnen. - Vertalen van bestaande functionaliteit uit de huidige analyse- en rapportageomgeving naar equivalenten in de nieuwe stack, en het vastleggen van verschillen en beperkingen. - Bewaken van het tempo: casussen worden binnen de afgesproken doorlooptijd afgerond en opgeleverd met reproduceerbare resultaten.
Samenwerking en kennisoverdracht: - Meenemen van ontwikkelaars uit de verschillende teams volgens het principe 'voordoen > samendoen > zelf doen'; de kennis blijft na afloop binnen de NVWA. - Faciliteren in plaats van sturen: ruimte laten aan de teams, maar wel voo...