Data Engineer
Posted Updated 15
views
Summary
Data Engineer at consulting firm agap2 Italia for a Data Platform project: building CDC pipelines from Oracle via Debezium/Kafka Connect, NiFi flows, Spark batch/streaming jobs, and managing an Apache Iceberg lakehouse on Cloudera, plus Impala query tuning, monitoring and troubleshooting. €30k–38k RAL, CCNL Commercio e Terziario.
AGAP2 Italia sta assumendo un Data Engineer per un progetto in ambito Data Platform, con focus su pipeline dati, streaming e architetture Lakehouse basate su Cloudera.
Si richiede esperienza su CDP o piattaforme on-premise, Spark/SQL avanzati, Kafka e Debezium con Oracle, NiFi e Iceberg, e buona gestione di Linux e troubleshooting. Retribuzione tra €30.000 e €38.000 RAL. CCNL Commercio e Terziario.
Progettazione e sviluppo di pipeline di acquisizione dati CDC da Oracle tramite Debezium e Kafka Connect. Sviluppo e ottimizzazione di flussi dati con Apache NiFi. Implementazione di processi batch e streaming con Apache Spark (PySpark e/o Scala/Java). Gestione e ottimizzazione di tabelle Apache Iceberg e delle relative funzionalità. Ottimizzazione delle query SQL e delle performance tramite Apache Impala. Monitoraggio della piattaforma, troubleshooting e supporto alla sicurezza degli accessi. Esperienza con Cloudera Data Platform (CDP) o piattaforme on-premise equivalenti. Ottima conoscenza di Apache Spark e SQL. Esperienza con Apache Kafka e pipeline CDC, preferibilmente con Debezium e Oracle. Conoscenza di Apache NiFi e dei formati Lakehouse, preferibilmente Apache Iceberg. Buona padronanza di Linux e delle attività di troubleshooting.