Data Engineer - Bologna
Summary
Designs and maintains batch and real-time data pipelines, builds and evolves a company data lake, and models data for analytics using Spark, Airflow, Delta Lake and Parquet.
Categoria: Energy & Natural Resources Luogo di lavoro: Bologna
Per conto di una solida realtà italiana operante nel settore energia e utilities, attualmente coinvolta in un importante percorso di evoluzione tecnologica e integrazione all'interno di un gruppo nazionale in forte crescita, siamo alla ricerca di un Data Engineer da inserire nel team IT/Data presso la sede di Bologna.
La figura entrerà a far parte di un team IT/Data composto da circa 10 professionisti e sarà coinvolta in un progetto strategico, in una fase di costruzione ed evoluzione della piattaforma, con il supporto di figure senior e una forte esposizione alle tecnologie più attuali del mondo Data Engineering.
Resposabilità principali:
- Progettazione, sviluppo e manutenzione di pipeline dati batch e near real-time.
- Supporto all'implementazione e all'evoluzione del Data Lake aziendale.
- Modellazione, trasformazione e consolidamento dei dati a supporto di reporting, analytics e business intelligence.
- Implementazione e gestione dei workflow di orchestrazione tramite Apache Airflow.
- Sviluppo e ottimizzazione di job distribuiti con Apache Spark.
- Gestione di dataset in formato Parquet e architetture basate su Delta Lake.
- Verifica della corretta alimentazione e trasformazione dei dati provenienti da differenti sorgenti informative.
- Controllo e monitoraggio della qualità del dato.
- Supporto alla realizzazione di dataset destinati a reporting e analytics, anche tramite Power BI.
- Monitoraggio delle performance delle pipeline e gestione delle anomalie.
- Collaborazione con stakeholder aziendali, referenti tecnici e team applicativi per la raccolta dei requisiti e la delivery delle soluzioni.
Requisiti:
Laurea Magistrale in Informatica, Ingegneria Informatica o discipline STEM.Esperienza di almeno 2-3 anni in ambito Data Engineering.Ottima conoscenza di SQL.Buona conoscenza di Python per attività di data engineering e automazione.Esperienza concreta con:Apache SparkApache AirflowDelta LakeFormato ParquetEsperienza con architetture Data Lake, Lakehouse e Data Warehouse.Conoscenza dei processi ETL/ELT.Esperienza nell'integrazione di dati provenienti da sorgenti multiple.Capacità di troubleshooting e ottimizzazione delle performance.Conoscenza di Power BIEsperienza maturata in contesti enterprise /s?