AI DATA ENGINEER
Summary
Build and optimize large-scale data pipelines with Apache Spark and Azure, then apply ML models for forecasting and anomaly detection in enterprise domains.
Azienda
Azienda tecnologica specializzata in Data Engineering e soluzioni di Artificial Intelligence, con forte focus su progetti enterprise data-driven.
Offerta
- Progettare e sviluppare pipeline di elaborazione dati su larga scala utilizzando Apache Spark (Scala e Spark SQL)
- Realizzare e ottimizzare processi di elaborazione distribuita utilizzando RDD, DataFrame e Spark SQL
- Sviluppare UDF personalizzate per la gestione di trasformazioni complesse sui dati
- Implementare e gestire architetture di data ingestion e data processing su Microsoft Azure (in particolare Azure Data Factory)
- Costruire pipeline end-to-end per la gestione di dati strutturati e non strutturati
- Applicare tecniche di Machine Learning (regressione, clustering, anomaly detection, forecasting) in diversi ambiti: fashion, geospaziale, industriale e di produzione
- Supportare la messa in produzione dei modelli (approccio MLOps) garantendo scalabilità, affidabilità e performance
- Collaborare con stakeholder di business per tradurre esigenze analitiche in soluzioni data-driven
- Realizzare report, dashboard e presentazioni per la comunicazione dei risultati verso stakeholder tecnici e business
Competenze ed esperienza
Il candidato è in possesso dei seguenti requisiti:
- Esperienza consolidata con Apache Spark (Scala, Spark SQL)
- Ottima conoscenza di Python e/o Scala
- Conoscenza dei paradigmi di elaborazione distribuita (RDD, DataFrame, MapReduce)
- Esperienza su Microsoft Azure Data Platform, in particolare Azure Data Factory
- Capacità di progettare e gestire pipeline ETL e processi di data ingestion
- Conoscenza di tecniche di Machine Learning: Regresione
- Clustering
- Anomaly detection
- Forecasting / serie temporali
- Esperienza (anche base) nella messa in produzione di modelli
- Gradita esperienza con strumenti di data visualization e reporting
Completa l'offerta
- Azienda in forte crescita;
- Tecnologie all'avanguardia, prodotto tecnicamente complesso;
- Formazione e aggiornamento tecnico continuo;
- Zona: Comune di Bologna
- Smart working