Data Engineer Big Data & Cloud
Summary
Senior data engineer who autonomously owns the architecture and development of a big data platform (Cloudera, Spark, Kafka) with a GCP side (BigQuery, dbt, Dataflow, Pub/Sub), building batch and real-time pipelines in Scala/Java/Python with CI/CD and Scrum. Hybrid in Madrid (Alcobendas), 2–3 days remote per week.
buscamos un perfil senior, con más de 3 años de experiencia, que asuma con autonomía la arquitectura y el desarrollo de una plataforma de datos centrada en Big Data (Cloudera / Spark) y con parte en Google Cloud Platform
Big Data (imprescindible) Más de 3 años diseñando y desarrollando procesos batch y real time con Apache Spark en el ecosistema Cloudera.
Alto nivel de Scala sobre Apache Spark; Java. Modelado en Apache HDFS/Hive, Apache Kudu y Apache Solr.
Conocimiento profundo de Apache Kafka, a nivel de arquitectura y de desarrollo.
Cloud (GCP) Experiencia desarrollando sobre Google Cloud Platform. BigQuery (modelado), dbt/SQL y Python. Pub/Sub, Dataflow, Cloud Functions y Cloud Storage.
Transversal CI/CD con Git/Bitbucket y Jenkins. Planificación de procesos con Control-M. Trabajo en equipos Scrum.
Autonomía, capacidad de decisión y buena comunicación con perfiles técnicos y de negocio.
Trabajo hibrido en madrid Alcobendas 2 o 3 Dias Remoto