Data Engineer: Scrapy & Airflow per Big Data
Summary
Data Engineer at Prefe, an innovative AI startup for FMCG market intelligence, runs large-scale web scraping operations: managing thousands of Scrapy spiders daily, building Airflow workflows, and maintaining Docker infrastructure on VMs to ensure high-quality data.
Prefe è una startup innovativa che ha sviluppato una piattaforma AI per market intelligence nel settore FMCG. Cerchiamo un Data Engineer per potenziare le operazioni di web scraping su larga scala e garantire dati di alta qualità. Gestirai script Scrapy, operazioni quotidiane su migliaia di spider, workflow con Airflow e infrastrutture Docker in VM.
Sarai parte di un team tech dinamico e orientato ai dati. Il ruolo richiede esperienza con Scrapy, Airflow, Docker, SQL e PostgreSQL, oltre a buone
#J-18808-Ljbffr