AI DATA ENGINEER

Categoria: Technology & Telecoms

Luogo di lavoro: Bologna

Per nostro Cliente, Azienda attiva nel campo Technology, ricerchiamo per potenziamento dell'organico attuale una figura di Data Engineer per il Team Big Data & Artificial Intelligence.

• Progettare e sviluppare pipeline di elaborazione dati su larga scala utilizzando Apache Spark (Scala e Spark SQL)
• Realizzare e ottimizzare processi di elaborazione distribuita utilizzando RDD, DataFrame e Spark SQL
• Sviluppare UDF personalizzate per la gestione di trasformazioni complesse sui dati
• Implementare e gestire architetture di data ingestion e data processing su Microsoft Azure (in particolare Azure Data Factory)
• Costruire pipeline end-to-end per la gestione di dati strutturati e non strutturati
• Applicare tecniche di Machine Learning (regressione, clustering, anomaly detection, forecasting) in diversi ambiti: fashion, geospaziale, industriale e di produzione
• Supportare la messa in produzione dei modelli (approccio MLOps) garantendo scalabilità, affidabilità e performance
• Collaborare con stakeholder di business per tradurre esigenze analitiche in soluzioni data-driven
• Realizzare report, dashboard e presentazioni per la comunicazione dei risultati verso stakeholder tecnici e business

Requisiti: Il candidato è in possesso dei seguenti requisiti:Esperienza consolidata con Apache Spark (Scala, Spark SQL)Ottima conoscenza di Python e/o ScalaConoscenza dei paradigmi di elaborazione distribuita (RDD, DataFrame, MapReduce)Esperienza su Microsoft Azure Data Platform, in particolare Azure Data FactoryCapacità di progettare e gestire pipeline ETL e processi di data ingestionConoscenza di tecniche di Machine Learning:RegressioneClusteringAnomaly detectionForecasting / serie temporaliEsperienza (anche base) nella messa in produzione di modelliGradita esperienza con strumenti di data visualization e reporting