Senior Data Engineer Big Data & Cloud
Summary
Senior data engineer who independently owns the architecture and development of a data platform built on Big Data (Cloudera/Spark) with parts on Google Cloud Platform, working hybrid from Madrid. Day to day: batch and real-time pipelines in Spark/Scala and dbt/SQL/Python, BigQuery, data governance, Control-M scheduling and production support.
Contrato indefinido
Buscamos un perfil senior, con más de 3 años de experiencia, que asuma con autonomía la arquitectura y el desarrollo de una plataforma de datos centrada en Big Data (Cloudera / Spark) y con parte en Google Cloud Platform.
Senior Data Engineer Big Data & Cloud
Trabajo Hibrido en madrid
Contrato indefinido
Buscamos un perfil senior, con más de 3 años de experiencia, que asuma con autonomía la arquitectura y el desarrollo de una plataforma de datos centrada en Big Data (Cloudera / Spark) y con parte en Google Cloud Platform.
Responsabilidades
- Diseñar y evolucionar arquitecturas de datos batch y real time sobre Cloudera y GCP.
- Implantar y mantener plataformas de ingesta, almacenamiento y agregación de datos con Spark y BigQuery.
- Desarrollar, probar, desplegar y documentar procesos en Spark/Scala y en dbt/SQL/Python.
- Definir las bases arquitecturales y los procesos de gobierno del dato.
- Estimar la complejidad de las funcionalidades y ayudar al Product Owner a priorizar el backlog. Ser el interlocutor técnico con el cliente, IT y negocio, y participar en las demos.
- Resolver incidencias de producción y optimizar procesos productivos.
- Planificar y supervisar la ejecución de procesos con Control-M. Orientar técnicamente al resto del equipo y velar por las buenas prácticas y las normas del cliente.