Senior Data Engineer Big Data & Cloud
Posted 44
views
Summary
Senior data engineer (3+ years) owning the architecture and development of a big data platform on Cloudera/Spark with a Google Cloud component, in a hybrid role in Madrid. Day to day: batch and real-time data architectures, ingestion/storage pipelines with Spark and BigQuery, coding in Scala, dbt, SQL and Python, Control-M scheduling, and acting as technical lead toward the client.
Senior Data Engineer Big Data & Cloud
Trabajo Hibrido en madrid
Contrato indefinido
Buscamos un perfil senior, con más de 3 años de experiencia, que asuma con autonomía la arquitectura y el desarrollo de una plataforma de datos centrada en Big Data (Cloudera / Spark) y con parte en Google Cloud Platform.
Responsabilidades
- Diseñar y evolucionar arquitecturas de datos batch y real time sobre Cloudera y GCP.
- Implantar y mantener plataformas de ingesta, almacenamiento y agregación de datos con Spark y BigQuery.
- Desarrollar, probar, desplegar y documentar procesos en Spark/Scala y en dbt/SQL/Python.
- Definir las bases arquitecturales y los procesos de gobierno del dato.
- Estimar la complejidad de las funcionalidades y ayudar al Product Owner a priorizar el backlog. Ser el interlocutor técnico con el cliente, IT y negocio, y participar en las demos.
- Resolver incidencias de producción y optimizar procesos productivos.
- Planificar y supervisar la ejecución de procesos con Control-M. Orientar técnicamente al resto del equipo y velar por las buenas prácticas y las normas del cliente.
Skills
Sign in to read and join the discussion.