Data Engineer: Real-Time CDC & Lakehouse Specialist

Soft Strategy s.p.a. cerca un Data Engineer da inserire nel team dedicato a TIDE, una piattaforma di raccolta dati in tempo reale. Il candidato implementerà e manterrà flussi CDC, garantendo integrità e zero data loss, e collaborerà a evoluzioni di streaming e governance.

Il ruolo richiede 4–6 anni di esperienza, solide competenze SQL, Python e Spark, oltre a conoscenze di Kafka, Debezium/Confluent e NiFi. Sede Bari, tempo pieno in presenza.

Sviluppare e mantenere pipeline CDC di ingestion dai database sorgente al layer Bronze con Debezium/Confluent, garantendo zero data loss. Gestire Bronze → Silver → Gold con Spark/Spark Streaming in Python e Apache NiFi. Gestire tabelle Apache Iceberg su storage; evoluzioni di schema e ottimizzazioni. Configurare topic Kafka, offset e DLQ; analisi, reprocessing e alerting. Monitorare e mettere in atto tuning delle pipeline (latenza, volume, soglie). Seguire standard di progetto, commit, documentazione e CI per pipeline data. Laurea in Informatica o equivalente oppure esperienza lavorativa equivalente. 4–6 anni di esperienza come Data Engineer o ruoli similari su pipeline dati. Conoscenza di SQL e DB relazionali (Oracle, PostgreSQL, MySQL o SQL Server). Python per sviluppo di job dati con Spark/PySpark (streaming e/o batch). Conoscenza di Apache Kafka e concetti di streaming eventi.