Data Engineer

Voor een wereldwijd toonaangevende financiële klant in Nederland ben ik met spoed op zoek naar een Data Engineer.

• : De juiste data beschikbaar hebben, op de juiste plaats, op het juiste moment, met de juiste kwaliteit wordt steeds belangrijker. Het ondersteunt zakelijke beslissingen, optimalisatie en automatisering. Met het steeds groeiende belang van data voor onze innovaties en bedrijfsvoering hebben we de overstap gemaakt naar een gedistribueerde Data-Mesh architectuur, gebouwd op Databricks binnen Azure (Delta Lake, Unity Catalog, Databricks Asset Bundles
• )We hebben meerdere data product teams. Deze bestaan uit meerdere Data Engineers, Data Stewards een DevOps Coach en een Product Owner. We werken Agile. Als Data Engineer breng je de expertise die nodig is voor de afdeling op peil, je deelt jouw kennis en borgt dit in de organisatie. Je brengt verandering en geeft de toekomst van een expertisegebied vor

m.
We zijn op zoek naar een Data Engineer die ons kan helpen bij de volgende activiteit

• en:Doorontwikkelen van onze Databricks-gebaseerde dataplatformen, de CI/CD-pipelines hiervoor (Azure DevOps) en de data pipelines (PySpark, AirFlow). Waar mogelijk conform de architectuur, waar nodig in overleg de architectuur bijstell
• en.Beheren van datamodellen en tabelmigraties met SQLAlchemy en Alembic, en het toepassen van SCD-patronen voor betrouwbare, historisch correcte da
• ta.Integreren en realiseren van koppelingen met meer traditionele dataleveranciers en afnemers. Dit kunnen services zijn, streaming data, maar in enkele gevallen misschien ook nog wel een legacy systeem met een batch koppeling met CSV-bestanden. Concreet: integreren van systemen tot een totaaloplossi
• ng.Migreren van bestaande data-oplossingen naar de nieuwe Databricks/Azure-oplossingen. Concreet: realiseren van betrouwbare migratiepatronen om (veelal) een geleidelijke migratie mogelijk te mak
• en.On-call support leveren tijdens werktijden als roulerende taak binnen het te
• le: Je hebt een academisch of HBO opleidings- en werkniv
• eau.Je bent een kartrekker en aanvoerder, door eigenaarschap te pakken maak je imp
• act.Je bent een ondernemend, analytisch en pragmatisch ingest
• eld.Je bent communicatief vaardig en weet je ideeën helder over te bren
• gen.Je hebt oog voor de life-cycle ontwikkeling en je zorgt voor duurzame oplossin
• gen.Je beheerst de Nederlandse taal uitstekend, zowel mondeling als schriftel

ijk.
Technische vaardigh

• eden:Ervaring met Git en het bouwen van CI/CD-pipelines, bij voorkeur in Azure DevOps/Azure Pipellines.Ervaring in Python, bij voorkeur met Object Oriented Programming, testen met Pytest en gebruik van linting/type-checking tools (bijv. ruff, m
• ypy).Ervaring met SQL en PySpark, bij voorkeur in Databricks (Delta Lake, Unity Catalog, Databricks Asset Bundles/Databricks Connect).Kennis van datamodellering en schema-migraties, bij voorkeur met SQLAlchemy en Ale
• b.
  Pré:Je hebt ervaring met Infrastructure as Code, bijvoorbeeld via Databricks Asset Bundles of Terr
• aform.Je hebt kennis van Delta Live Tables en/of Databricks Work
• flows.Je hebt ervaring met
• AzureJe hebt de volgende certificeringen: Databricks Certified Data Engineer Associate of Databricks Certified Data Engineer Profess