Senior Data Engineer
Summary
Build and maintain a central Azure-Databricks data platform for a municipality, designing ETL pipelines, ensuring data quality, and enabling AI-driven decision-making.
Over de functie
ml T224004
Je legt de technische basis voor een centraal dataplatform en zorgt ervoor dat data uit verschillende systemen veilig, betrouwbaar en toekomstbestendig beschikbaar komt voor de organisatie. In deze rol ontwikkel je ETL-processen, richt je het platform in en bouw je aan een duurzaam en schaalbaar datafundament. Je bewaakt de datakwaliteit en zorgt dat privacy en informatiebeveiliging goed zijn geborgd. Daarnaast onderzoek je actief hoe nieuwe AI-tools kunnen bijdragen aan datagedreven sturen en neem je collega’s mee in deze ontwikkeling.
Wat ga je doen
- Je richt samen met een externe leverancier een centraal Azure-Databricks platform in.
- Je ontsluit alle bronnen van de gemeente naar het centrale dataplatform.
- Je ontwikkelt (spatial) ETL-processen en werkt aan een duurzaam en schaalbaar datafundament.
- Je adviseert over techniek, inrichting en implementatie van data-oplossingen.
- Je bewaakt de datakwaliteit en borgt privacy en informatiebeveiliging in de oplossingen.
- Je traint interne medewerkers in het vakgebied van data-engineering.
- Je deelt jouw kennis en helpt de organisatie om data beter te benutten.
Over jou
- Je volgt ontwikkelingen binnen het vakgebied op de voet en bent nieuwsgierig naar de mogelijkheden van nieuwe AI-tools.
- Je neemt collega’s mee in de ontwikkeling naar datagedreven sturen.
- Je werkt proactief en analytisch en weet technische keuzes goed te onderbouwen.
- Je communiceert sterk en bent verbindend in de samenwerking met collega’s en externe partijen.
- Je bent minimaal 36 uur per week beschikbaar en werkt in de start minimaal 75% op locatie, later minimaal 50%, zodat je collega’s goed kunt trainen en snel samen tot resultaat komt.
Eisen
- Je hebt ten minste 5 jaar werkervaring bij een gemeente als Data Engineer.
- Je hebt ten minste 5 jaar ervaring met het werken met Databricks op Azure.
- Onder jouw aansturing is een centraal dataplatform gerealiseerd.
- Je bent ten minste 36 uur per week beschikbaar.
Wensen
- Je hebt ervaring met Python en SQL (PostgreSQL en SQL Server).
- Je hebt ervaring met data modellering en CI/CD pipelines.
- Je hebt ervaring met DevOps/DataOps werken.
- Je hebt ervaring met het in productie brengen en beheren van datasets en metadata management.
Competenties
- Je bent proactief.
- Je bent analytisch.
- Je bent communicatief sterk.
- Je bent verbindend.
ml T224004