Data Engineer
Summary
Build and maintain data pipelines that clean, normalize, and embed unstructured documents for RAG systems using Python, Ollama, and Supabase pgvector.
Wat je doet
- Opschonen en normaliseren van ongestructureerde data uit diverse bronnen (PDF, DOCX, HTML, databases, API's)
- Ontwerpen en implementeren van chunkingstrategieën voor RAG-pipelines
- Genereren van embeddings via lokale modellen (Ollama) of externe embedding-API's
- Opbouwen en onderhouden van vectorindexen in Supabase pgvector of vergelijkbare databases
- Evalueren en verbeteren van retrieval-kwaliteit op basis van testsets en gebruikersfeedback
- Bouwen van geautomatiseerde datapijplijnen voor periodieke heringestie van kennisbronnen
- Documenteren van datastructuren en ingestieprocessen zodat het team er zelfstandig mee kan werken
- Opschonen en normaliseren van ongestructureerde data uit diverse bronnen (PDF, DOCX, HTML, databases, API's)
- Ontwerpen en implementeren van chunkingstrategieën voor RAG-pipelines
- Genereren van embeddings via lokale modellen (Ollama) of externe embedding-API's
- Opbouwen en onderhouden van vectorindexen in Supabase pgvector of vergelijkbare databases
- Evalueren en verbeteren van retrieval-kwaliteit op basis van testsets en gebruikersfeedback
- Bouwen van geautomatiseerde datapijplijnen voor periodieke heringestie van kennisbronnen
- Documenteren van datastructuren en ingestieprocessen zodat het team er zelfstandig mee kan werken
Wat we zoeken
- Solide ervaring met Python en het schrijven en onderhouden van datapijplijnen
- Begrip van embedding-modellen en de invloed van chunkgrootte, overlap en metadata op retrieval-kwaliteit
- Hands-on ervaring met vectordatabases zoals pgvector, Chroma, Qdrant of Weaviate
- Vertrouwd met ongestructureerde data: extractie, parsing, cleaning en normalisatie
- Systematisch en nauwkeurig: fouten in de data werken direct door in de output van het taalmodel
- Uitstekende beheersing van de Nederlandse taal
Wat we bieden
- Een parttime rol van twee tot drie dagen per week, flexibel in te delen
- Uitdagende RAG-projecten in financiële dienstverlening, industrie en onderwijs
- Directe samenwerking met een technisch sterk team
- Ruimte om te experimenteren met de nieuwste open source embedding- en retrieval-tooling
- Hybride werken vanuit ons kantoor in Volendam
- Marktconform uurtarief of salaris, afhankelijk van voorkeur en ervaring