Data Engineer – Migración de Cloudera a GCP
Posted
Summary
Data Engineer in Madrid working on a Cloudera-to-Google-Cloud migration: moving HDFS, Kudu and Hive workloads to GCS, Dataproc, Cloud SQL/Spanner and Bigtable using Spark, Scala/PySpark and Kafka, with data governance via Ranger, Dataplex, IAM and BigQuery policy tags.
Buscamos un Data Engineer – Migración de Cloudera a GCP
Requisitos imprescindibles:
- Experiencia con HDFS y Google Cloud Storage.
- Experiencia avanzada con Apache Spark, Scala y PySpark, y migración de workloads a Dataproc y Dataproc Serverless.
- Experiencia en Spark Streaming y Apache Kafka, incluyendo servicios gestionados de Kafka en GCP.
- Conocimientos de Kudu y soluciones de destino como Cloud SQL, Google Spanner y Bigtable.
- Experiencia con Hive Metastore, Apache Ranger y gobierno del dato, incluyendo Dataplex, Cloud IAM y BigQuery Policy Tags.
- Experiencia en migración, validación y optimización de pipelines de datos en entornos cloud.