Freelance Data Engineer – Microsoft Fabric & PySpark
Summary
Freelance data engineer joining the internal data team of a large Belgian organization to expand its Microsoft Fabric data platform built on lakehouse/medallion architecture: exposing sources to the Bronze layer, building robust PySpark pipelines toward Silver, and guarding data quality, performance and scalability, with later work on a Gold data product. Power BI is occasionally used for analysis
Onze klant is een grote, groeiende Belgische organisatie die volop investeert in de verdere uitbouw van haar dataomgeving. Binnen het interne datateam wordt gewerkt aan een modern dataplatform in Microsoft Fabric, opgebouwd volgens een lakehouse- en medallionarchitectuur.
Om een aantal belangrijke trajecten te versnellen zoeken ze uitbreiding in het data-team die snel operationeel kan worden en mee bouwt aan de verdere ontsluiting, verwerking en structurering van data.
Jobomschrijving
Hier werk je mee aan de verdere uitbouw van het dataplatform in Microsoft Fabric. De nadruk ligt duidelijk op data engineering, aangevuld met een stukje data-analyse en validatie.
Je ontsluit verschillende databronnen richting de Bronze-laag en bouwt robuuste pipelines om data verder te verwerken en verrijken richting Silver. Daarbij bewaak je datakwaliteit, performantie en schaalbaarheid en zorg je ervoor dat pipelines betrouwbaar en onderhoudbaar opgebouwd worden.
Daarnaast denk je kritisch mee over mappings, businessregels en datastructuren. Wanneer requirements or brondata niet volledig duidelijk zijn, stem je actief af met de business en andere stakeholders in plaats van zelf assumpties te maken.
Binnenkort start het team ook met de verdere uitbouw van een eerste Gold-laag / data product. Bij verlenging van de opdracht bestaat de mogelijkheid om ook hier verder aan mee te werken.
Power BI kan occasioneel gebruikt worden om analyses uit te voeren en data te valideren, maar vormt niet de kern van de opdracht.