Data Engineer (2x) - Ministerie van Buitenlandse Zaken

In het kort: Je gaat als senior data engineer datapipelines en een enterprise datawarehouse op Azure Databricks ontwikkelen, optimaliseren en beheren, data ontsluiten en modelleren, en nauw samenwerken met BI- en analytics-specialisten.Je speelt een centrale rol binnen het Business Intelligence Team van BZ.Buitenlandse zaken heeft de ambitie door te groeien naar een informatie gestuurde, data-gedreven organisatie. Om dit te verwezenlijken loopt een diversiteit aan business intelligence & analytics (BIA) en data science projecten die grotendeels in elkaar verweven zijn. Ontwikkeling en beheer worden uitgevoerd door twee ontwikkel- en beheerteams onder aansturing van twee projectleiders.De verschillende agile-scrum teams werken nauw samen met producteigenaren en opdrachtgevers vanuit verschillende afdelingen. Verschillende stakeholders, verschillende belangen, allemaal met als doel steeds beter en meer informatiegestuurd te kunnen werken voor een steeds grotere gebruikersgroep.Je activiteiten gaan zich richten op het doorontwikkelen van het datawarehouse op basis van het Databricks platform. Uitgebreide kennis van python en sql is hiervoor van belang.De volgende taken en resultaatgebieden worden onderkend- Ontwikkelt, onderhoudt en optimaliseert datapipelines voor specifieke informatieproducten.- Hiervoor wordt het Databricks platform gebruikt.- Ondersteunt, adviseert en stemt af met data analisten, infra engineer, visualisten, datascientists en BI-consultant (en informatiemanagers) betreffende informatieplanning en informatiestrategie- Werkt nauw samen met BI-consultants, datagebruikers, datascientists e.a. op in de hiervoor genoemde technieken, zodat ze in staat zijn om de data die ze nodig hebben te integreren en te gebruiken- Draagt er zorg voor dat de workloads gemanaged (deployment via devops pipelines) naar ontwikkeling en productie worden gebracht. Dit proces wordt door de data-engineer continu doorontwikkeld- De Data-engineer is verantwoordelijk.