Software Engineer Data Platform
Summary
Data Platform Software Engineer at ABN AMRO (working within BeFrank, its pension brand) building production-ready Python/PySpark pipelines on Delta Lake using medallion architecture. The role integrates data from relational DBs, NoSQL, S3/Blob, REST APIs and SFTP, with data-quality validations, multi-level testing and CI/CD in Azure DevOps, in a small Agile team.
In deze rol werk je aan een robuust dataplatform dat data uit diverse bronnen ontsluit en omzet naar waardevolle producten voor analyses, rapportages en AI-toepassingen. Je schrijft productieklare Python-applicaties en datapipelines en bewaakt kwaliteit vanaf het ontwerp. Je denkt mee over de technische richting en zorgt voor schaalbaarheid en onderhoudbaarheid van het platform. Je werkt in een compact team met directe invloed op keuzes en levert een bijdrage aan kennisdeling.
Arbeidsvoorwaarden / Benefits- Passend salaris
- Eindejaarsuitkering
- Prestatiebonus
- Internetvergoeding
- NS Business Card
- 1 persoonlijke feestdag bovenop vakantiedagen
- Schrijven van productieklare datapipelines in Python en PySpark volgens de medallion-architectuur (bronze, silver, gold) op Delta Lake
- Ontsluiten van data uit bronsystemen zoals relationele databases, NoSQL, Blob/S3, REST API's en SFTP
- Schrijven van tests op meerdere niveaus (unit, integratie, BDD) en integreren in CI/CD (Azure DevOps)
- Ontwerpen en implementeren van datakwaliteitsvalidaties en borging van data kwaliteit
- Nauw samenwerken met data- en businessanalisten aan datamodellen en dataproducten met businesswaarde
- Zelfstandig ontwerpen en implementeren van technische oplossingen binnen de software/cloud architectuur
- Actief bijdragen aan kennisniveau binnen het engineering team door ideeën/tools te presenteren en feedback te geven
- Samenwerking in een klein team binnen BeFrank's Agile Scrum omgeving
- Ervaring met Python en gewend aan versiebeheer, code reviews, testen en CI/CD
- Productiewaardige Python-code met nette structuur, herbruikbare componenten en foutafhandeling
- Aantoonbare ervaring met robuust schaalbaar dataplatform met PySpark en Delta Lake (partitionering, schema-evolutie, time travel, merge/upsert)
- Bekend met medallion-architectuur of vergelijkbare gelaagde dataplatformprincipes
- Ervaring met aansluiten van diverse bronsystemen via verschillende koppelingen
- Datakwaliteit onderbouwen met validaties en borging in processen
- Automatiseren van tests en inrichten van CI/CD pipelines
- Teamspeler die logisch modellen en businessdefinities omzet naar fysiek datamodel
- Ervaring met Azure-datastack (Synapse, Data Factory, Azure Functions) is een pre
- Initiatief nemen
- Samenwerken en kennisdeling
- Kritisch denken en kwaliteitsbewustzijn
- Python
- PySpark
- Delta Lake