Data Engineer
Summary
Data Engineer on the DWHM team at Lely (a global agricultural technology organization) who builds and runs the lakehouse platform in Databricks: ingestion from APIs, SQL databases and SFTP sources, Delta Lake / warehouse patterns (CDC, SCD2, incremental loads), IaC with Databricks Asset Bundles and OpenTofu/Terraform, plus monitoring and production reliability. Needs 5+ years experience with stron
In deze rol vorm je het hart van ons lakehouse-platform door data uit diverse bronnen betrouwbaar en schaalbaar beschikbaar te maken voor analytics en rapportage. Je werkt in het DWHM-team aan robuuste dataprodukten en draagt bij aan continue verbeteringen in software, cloud en operationeel eigenaarschap. Je combineert engineering met data governance om productieomgevingen betrouwbaar te houden. Dit biedt een kans om impact te hebben op de transformatie van data-gedreven besluitvorming binnen een wereldwijde agrarische organisatie.
Arbeidsvoorwaarden / Benefits- tot 8 weken vakantie per jaar
- sterke pensioenregeling
- ontwikkelingsmogelijkheden via Lely Academy
- moderne Lely Campus met uitgebreide sportfaciliteiten
- gratis shuttlebus naar metro Maassluis
- barista koffie en bedrijfsrestaurant
- Bouwen en verbeteren van data-ingestieprocessen voor diverse databronnen in Databricks
- Ontwerpen en implementeren datawarehouse- en Delta Lake-patronen (CDC, SCD Type 2, incremental loading, deduplicatie)
- Beheren van Databricks-componenten (Workflows, Unity Catalog, Compute Clusters) en onderhouden van IaC (Databricks Asset Bundles, OpenTofu/Terraform)
- Onderzoeken van nieuwe bron- en integratietypen, uitvoeren van proof-of-concepts en bijdragen aan platformontwikkeling
- Eigenaarschap nemen voor betrouwbaarheid van productieomgevingen (monitoring, incidentanalyse, kostenbewaking)
- Kwaliteit waarborgen via design reviews, tests en het verbeteren van engineeringprocessen binnen een agile werkomgeving
- Actieve bijdrage aan agile werkwijze door backlog refinement, inschattingen en risicobeheersing
- Minimaal 5 jaar relevante ervaring als Data Engineer of vergelijkbaar in data- en cloudomgevingen
- Sterke Python-engineeringvaardigheden (OO, modulaire architecturen, testbare code)
- Sterke SQL-vaardigheden voor data-extractie, transformatie en validatie
- Ervaring met dataontsluiting uit API's, SQL-databases en file-based bronnen (FTP/SFTP)
- Hands-on ervaring met Databricks (Workflows, Spark, Delta Lake, Unity Catalog)
- Kennis van Delta Lake- en datawarehouse-patronen (CDC, SCD2, incremental loading, deduplicatie)
- Ervaring met unit testing en integratietesten, CI/CD en tooling zoals GitLab
- Kennis van cloudtechnologieën, bij voorkeur Azure
- Ervaring met monitoring, incident debugging en productiebetrouwbaarheid
- Pragmatische houding ten aanzien van AI-ondersteunde softwareontwikkeling
- Woonachtig in Nederland
- Samenwerking in cross-functionele teams
- Pragmatisch en oplossingsgericht
- Analytisch en kwaliteitsgericht
- Python (OO en modulaire architecturen)
- SQL voor data-extractie en validatie
- Databricks (Workflows, Spark, Delta Lake, Unity Catalog)