Data Engineer / Databricks Developer
Summary
Design, build, and evolve data pipelines, ingestion/transformation jobs, and automated workflows on the Databricks platform, developing Data & AI solutions and backend services that support business processes. Core stack: Python, Apache Spark, SQL, Delta Lake/Data Lakehouse, Git and CI/CD, with Azure cloud preferred.
Informazioni sull’offerta di lavoro
Siamo alla ricerca di un/una Data Engineer / Databricks Developer da inserire all'interno del team per progettare, sviluppare ed evolvere soluzioni Data & AI su piattaforma Databricks , con particolare attenzione al data engineering, all'integrazione dei dati, all'automazione, all'analytics e allo sviluppo di servizi a supporto dei processi aziendali.
Descrizione Attività
- Analizzare, progettare e sviluppare pipeline dati su piattaforma Databricks.
- Implementare processi di data ingestion, trasformazione e distribuzione dei dati provenienti da sistemi interni ed esterni.
- Sviluppare notebook, workflow e job automatizzati utilizzando Python e gli strumenti della piattaforma Databricks.
- Collaborare alla progettazione di moderne architetture Data Lakehouse scalabili.
- Sviluppare componenti software, API e servizi backend a supporto delle piattaforme dati.
- Integrare Databricks con database, sistemi enterprise, servizi cloud e piattaforme di Machine Learning.
- Garantire qualità, affidabilità e monitoraggio delle pipeline dati.
- Gestire processi di versionamento, rilascio e automazione tramite pipeline CI/CD.
- Collaborare con Data Scientist, Software Engineer, Cloud Engineer e stakeholder di business.
- Supportare le attività di troubleshooting e la risoluzione di problematiche tecniche complesse.
- Contribuire all'evoluzione delle piattaforme cloud e delle soluzioni Data & AI aziendali.
- Applicare principi di sicurezza, governance e qualità dei dati durante l'intero ciclo di vita delle soluzioni.
Requisiti
- Esperienza nello sviluppo con Python .
- Esperienza nell'utilizzo della piattaforma Databricks .
- Conoscenza di Apache Spark e dei principi di elaborazione distribuita dei dati.
- Esperienza nella progettazione e sviluppo di pipeline ETL/ELT .
- Ottima conoscenza di SQL e della modellazione dei dati.
- Esperienza con Delta Lake e architetture Data Lakehouse .
- Conoscenza di database relazionali e sistemi di storage dati.
- Esperienza con Git e workflow di sviluppo collaborativo.
- Esperienza nell'utilizzo di pipeline CI/CD e strumenti di automazione.
- Conoscenza dei principali servizi cloud, preferibilmente Microsoft Azure .
- Familiarità con servizi di integrazione dati, API REST e architetture distribuite.
- Buona conoscenza della lingua inglese, scritta e letta.
Costituiscono titolo preferenziale
- Esperienza con Unity Catalog, Data Governance e Data Lineage.
- Conoscenza di Azure Databricks o Databricks su altri cloud provider.
- Esperienza con strumenti di orchestrazione come Airflow, Azure Data Factory o equivalenti.
- Esperienza con workload di streaming (Spark Streaming, Kafka, Event Hub o equivalenti).
- Conoscenza di servizi di Machine Learning e Intelligenza Artificiale.
- Esperienza nello sviluppo di API REST e microservizi.
- Conoscenza di framework backend come FastAPI, Spring Boot o .NET.
- Esperienza con Docker e containerizzazione.
- Conoscenza di Kubernetes (AKS, EKS, OpenShift o equivalenti).
- Familiarità con architetture event-driven e sistemi di messaging.
- Esperienza con strumenti di monitoraggio e osservabilità.
- Familiarità con metodologie Agile/Scrum.
Soft Skill
- Ottime capacità di analisi e problem solving.
- Forte attitudine all'apprendimento continuo e all'aggiornamento professionale.
- Capacità di lavorare sia in autonomia sia all'interno di team multidisciplinari.
- Attitudine proattiva e orientamento al risultato.
- Precisione, attenzione ai dettagli e capacità organizzative.
- Buone capacità relazionali e comunicative.
Benefici
- Opportunità di lavorare su progetti innovativi nell'ambito Data, Cloud e Intelligenza Artificiale.
- Ambiente di lavoro collaborativo, dinamico e orientato all'innovazione.
- Formazione continua e possibilità di conseguire certificazioni tecniche.
- Percorso di crescita professionale all'interno dell'azienda.
Sede di lavoro: Bologna o Napoli (almeno 2 giorni a settimana)
La ricerca è rivolta a candidati di entrambi i sessi (L. 903/77 e L. 125/91). I dati personali saranno trattati esclusivamente per finalità di selezione, nel rispetto del Regolamento (UE) 2016/679 (GDPR).
#J-18808-LjbffrSkills
- Agile
- AI
- Airflow
- AKS
- Analytics
- API
- Azure
- Azure Data Factory
- CI/CD
- Cloud
- Data Engineering
- Data Governance
- Data Ingestion
- Data Lineage
- Databricks
- Delta Lake
- Docker
- .NET
- EKS
- ELT
- ETL
- Event Driven Architecture
- FastAPI
- Gdpr
- Git
- Kafka
- Kubernetes
- Lakehouse
- Machine Learning
- OpenShift
- Python
- Scrum
- Spark
- Spring
- SQL
- Unity