Cloudera Databricks Developer
Description
Chi siamo
AGAP2 valorizziamo il merito, l’ambizione e i risultati. Siamo presenti in Italia da otto anni, con cinque sedi a Milano, Brescia, Parma, La Spezia e Roma, e facciamo parte del Gruppo europeo MoOngy, una realtà multinazionale che conta oltre 8.500 dipendenti in 14 Paesi. Siamo un’azienda giovane e dinamica, dove le relazioni umane sono al centro e la passione per la crescita ci guida ogni giorno.
Descrizione della posizione
Per un importante progetto di evoluzione tecnologica, siamo alla ricerca di un Senior Cloudera – Databricks Developer che entrerà a far parte del team IT, contribuendo alla definizione e alla realizzazione del percorso di migrazione dall'ecosistema Cloudera alla piattaforma Databricks.
La risorsa avrà un ruolo chiave nell'analisi dell'attuale architettura Big Data, nella valutazione delle componenti esistenti e nella definizione delle strategie e delle soluzioni tecniche necessarie per la migrazione.
Responsabilità principali
- Collaborare con il team nella definizione della strategia di migrazione da Cloudera CDP a Databricks.
- Analizzare l'attuale ecosistema Hadoop e le relative architetture dati.
- Valutare e gestire la migrazione di dati, tabelle, metadati e processi ETL/ELT.
- Analizzare e ottimizzare query SQL, con particolare riferimento a Impala SQL.
- Definire le modalità di migrazione di HDFS, Hive e Hive Metastore verso l'ecosistema Databricks.
- Gestire gli aspetti relativi a formati dati, partizionamento e metadata management.
- Supportare le attività di integrazione e migrazione attraverso Cloudera Replication Manager.
- Contribuire all'implementazione e all'ottimizzazione delle soluzioni basate su Apache Spark e Databricks SQL.
Competenze tecniche richieste
- Cloudera CDP ed ecosistema Hadoop: conoscenza approfondita.
- HDFS: gestione e organizzazione dei dati distribuiti.
- Hive e Hive Metastore: conoscenza delle architetture e della gestione dei metadati.
- Impala / Impala SQL: ottima conoscenza e capacità di analisi e ottimizzazione delle query.
- Parquet: conoscenza dei formati dati, del partizionamento e della gestione dei metadati.
- Cloudera Replication Manager: esperienza nelle attività di replica e migrazione dei dati.
- Databricks: conoscenza della piattaforma e delle sue principali funzionalità.
- Apache Spark e SQL: esperienza nello sviluppo e nell'elaborazione di dati su architetture distribuite.
Requisiti preferenziali
- Esperienza in progetti di migrazione da Cloudera a Databricks.
- Conoscenza delle principali strategie di modernizzazione delle piattaforme Big Data.
- Capacità di analisi architetturale e di definizione di soluzioni tecniche di migrazione.
- Attitudine al lavoro in team e capacità di confronto con interlocutori tecnici.
Disponibilità
Inserimento immediato.
La retribuzione per questo ruolo è compresa tra i 26.000€ e i 32.000€
La posizione è inquadrata nell’ambito del CCNL Commercio e Terziario applicato dalla nostra società.
Il posizionamento all’interno del range sarà definito in base alle competenze tecniche, all’esperienza specifica nel ruolo e agli esiti del processo di selezione, secondo criteri oggettivi e neutri.
In presenza di profili con caratteristiche eccezionali rispetto al range indicato, potrà essere valutata una revisione previa approvazione interna.
🤝 Il nostro impegno per la diversità e l'inclusione
AGAP2 è un equal opportunities employer: crediamo che tutte le forme di diversità siano fonte di arricchimento reciproco. Ci impegniamo a garantire un ambiente di lavoro inclusivo, nel quale ogni singola risorsa possa apportare un valore unico alla nostra realtà. Pertanto, accogliamo candidature senza distinzione di età, genere, nazionalità, disabilità, orientamento sessuale, religione o stato civile.
Inoltre, teniamo fede ai nostri impegni prestando attenzione alle risorse appartenenti alle categorie protette ai sensi degli articoli 1 e 18 della Legge 68/99.
I dati personali saranno trattati in conformità alle disposizioni contenute nel regolamento UE 2016/679.
Skills
Sign in to read and join the discussion.