Google Cloud Data Engineer
Summary
You build batch and real-time data pipelines on Google Cloud Platform as a consultant: acquiring, cleansing and anonymizing data, preparing datasets for data scientists and BI, and optimizing/scheduling their ML models. Core stack is GCP DataFlow, Composer, Data Fusion, Vertex, BigQuery, Cloud SQL and Firestore, plus SQL/Java/Python.
In questa posizione operi sulla Data Platform GCP per costruire pipeline batch e real-time, trasformando e preparando dati strutturati e non strutturati. Sarai autonomo in acquisizione, storicizzazione, cleansing e anonimizzazione dei dati, gestendo outlier e dati nulli, e creando KPI di qualità. Lavorerai a stretto contatto con Data Scientist, strumenti di BI/Visualization e strutture sia relazionali sia NoSQL, per fornire dataset pronti all’uso. Riceverai modelli di ML dai Data Scientist, li ottimizzerai per esecuzione scalata e li schedulerai per automatizzare l’integrazione. Avrai un ruolo di consulenza sulle scelte di servizi GCP, costruendo relazioni con clienti e partner, e contribuom
Retribuzione / Benefits- crescita e formazione con 300+ corsi
- lavoro ibrido/remoto
- assicurazione sanitaria e check-up
- piani welfare e benessere
- ticket restaurant
- congedo parentale e supporto famigliare
- Operare su Data Platform GCP e implementare pipeline batch e real-time
- Eseguire acquisizione, storicizzazione, cleansing, anonimizzazione/masking dei dati
- Gestire valori nulli/outlier, aggregazione e strutturazione di dati non strutturati
- Creare KPI di quality e preparare dataset per Data Scientist, BI e architetture DWH/NoSQL
- Ricevere e ottimizzare modelli di ML per esecuzione scalabile e schedularli per automazione
- Progettare pipeline complesse massimizzando riuso, qualità, efficienza e documentazione
- Fornire advisory per selezione/ottimizzazione dei servizi GCP
- Costruire relazioni con clienti, vendor e partner e supportare soluzioni su mandati condivisi
- Contribuire alla Community con attività di ricerca, scouting e sviluppo di nuove soluzioni
- Esperienza in piattaforme dati basate sul cloud
- Conoscenza di Google GCP e servizi DataFlow, Composer, Data Fusion, Vertex
- Conoscenza concetti moderni di data platforms (Big Data, Data Lake, Data Warehouse, Data Mesh, Data Governance)
- Progettazione data model e pipeline ETL/ELT
- Conoscenza di linguaggi SQL, Java, Ruby, Python o R
- Conoscenza di tecnologie per Basi dati strutturate e non strutturate (BigQuery, Cloud SQL, Firestore)
- Plus: certificazione Google Professional Data Engineer o equivalente
- Comunicazione efficace con stakeholders
- Orientamento al cliente e soluzione di problemi
- Proattività e autonomia
- DataFlow, Composer, Data Fusion, Vertex su GCP
- BigQuery, Cloud SQL, Firestore
- Data modeling e design di pipeline ETL/ELT