Data Engineer: Scrapy & Airflow per Big Data
Summary
Data Engineer at Prefe, an AI market-intelligence startup for the FMCG sector, running large-scale web-scraping operations: managing thousands of Scrapy spiders, daily Airflow workflows, and Docker infrastructure on VMs. Core stack is Scrapy, Airflow, Docker, SQL, and PostgreSQL.
Prefe è una startup innovativa che ha sviluppato una piattaforma AI per market intelligence nel settore FMCG. Cerchiamo un Data Engineer per potenziare le operazioni di web scraping su larga scala e garantire dati di alta qualità. Gestirai script Scrapy, operazioni quotidiane su migliaia di spider, workflow con Airflow e infrastrutture Docker in VM.
Sarai parte di un team tech dinamico e orientato ai dati. Il ruolo richiede esperienza con Scrapy, Airflow, Docker, SQL e PostgreSQL, oltre a buone