DAS inhuur van een Senior Data Engineer
Summary
Contract role (via Impact Vandaag) for a Senior Data Engineer at the Dutch central bank (DNB): building a new Azure Databricks analytics platform for cash flows and managing Synapse/ADF data warehouses. Day to day: Python/PySpark/SQL pipelines, medallion lakehouse, Unity Catalog, and CI/CD in Azure DevOps; hybrid, ~2 days/week in Amsterdam.
De Data & Analyse teams spelen een sleutelrol om data van interne en externe bronnen te ontsluiten naar de afnemers binnen de Centrale Bank. Deze data omvatten kritische financiële informatie die beschikbaar gesteld moet worden voor de operatie en voor analyse doeleinden. De teams hebben een goedlopende agile BizDevOps werkwijze, en werken met moderne tooling in de Azure Cloud omgeving.Als senior data engineer kun jij met je kennis en ervaring een goede bijdrage leveren aan de teams. Je zal starten in het D&A 'World of Warehousing' team dat een nieuw analyseplatform aan het bouwen is voor de cash-stromen van DNB, een platform dat geheel wordt gebouwd in Azure Databricks. In dat team zijn daarnaast meerdere grote en kritische cloud datawarehouses in beheer op basis van Synapse, Azure SQL Server en ADF. Het tweede D&A team ('Lake of Legends'), waar je ook voor kan worden ingezet, heeft een nog sterkere focus op Azure Databricks.Bij DNB werken we deels op kantoor, deels thuis. De algemene richtlijn is 50/50. Het Data-team komt gemiddeld 2 dagen in de week naar kantoor. We komen met name naar ons kantoor in Amsterdam om samen te werken en elkaar te ontmoeten. Natuurlijk zorgen we dat je ook thuis uitstekend kunt werken met laptop van DNB.Verder bieden wij flexibele werktijden waar 4x9 ook mogelijk is.
Werkzaamheden
- Ontwerpen, ontwikkelen en optimaliseren van data pipelines binnen Azure Databricks.
- Realiseren van data-ingestie-, transformatie- en verrijkingsprocessen met Python, PySpark en SQL.
- Inrichten en beheren van lakehouse-architecturen volgens medallion architectuur.
- Ontwikkelen en onderhouden van Databricks notebooks, workflows en Unity Catalog-structuren.
- Implementeren van Infrastructure as Code (IaC) en CI/CD-processen binnen Azure DevOps.
- Kennis van dimensioneel modelleren.
- Opzetten en uitvoeren van unit-, integratie- en regressietesten.
- Toepassen van software engineering best practices, waaronder versiebeheer, code reviews, linting en security scanning.
- Samenwerken met data-engineers, analisten en platformteam om hoogwaardige data-oplossingen te realiseren.