Senior Data Engineer – AWS & Databricks
Summary
Senior data engineer designing and building batch and streaming data pipelines and a global data platform on AWS and Databricks, using Python, SQL, Spark, Delta Lake/Iceberg/Hudi and Airflow, for an international data transformation project. Hybrid role based in Madrid with three remote days per week.
Desde Hubtalent, firma especializada en headhunting del sector IT buscamos un Data Engineer con mínimo 4 años de experiencia.
¿Listo para inscribirse? Antes de hacerlo, asegúrese de leer todos los detalles pertenecientes a este trabajo en la descripción a continuación.
PROYECTO: Participación dentro de un proyecto internacional y estratégico de transformación de su ecosistema de datos.
El proyecto está especialmente orientado a trabajar con AWS, Databricks, Spark y arquitecturas modernas de Data Lake/Lakehouse, procesando grandes volúmenes de información y poniendo el foco en la eficiencia, escalabilidad y actualización de los datos.
FUNCIONES:
- Diseñar y desarrollar pipelines de datos complejos, tanto batch como streaming, utilizando Python, SQL y Spark.
- Trabajar en la construcción y evolución de una plataforma de datos global sobre AWS y Databricks.
- Diseñar soluciones para la gestión y actualización eficiente de grandes volúmenes de datos.
- Trabajar con streaming, CDC (Change Data Capture) y estrategias de upsert.
- Implementar y optimizar arquitecturas Lakehouse, trabajando con formatos como Delta Lake, Apache Iceberg o Hudi.
- Orquestar y automatizar workflows de datos mediante Airflow.
- Optimizar el rendimiento de procesos distribuidos y controlar la eficiencia y costes de las soluciones en AWS.
- Aplicar buenas prácticas de CI/CD, testing, seguridad e infraestructura como código.
HORARIO: Flexible!
Modelo híbrido: Tres días de Teletrabajo.
Madrid
REQUISITOS:
- Inglés: Avanzado.
- Mínimo 4 años de experiencia
SE OFRECE:
- Contrato indefinido en cliente final
- SBA + bonus (20%) + beneficios sociales
- Formación y desarrollo continuo. xkdbapo
Si eres un/a Data Engineer con experiencia en AWS, Databricks y Spark y quieres participar en la construcción de una plataforma de datos global, ¡queremos conocerte!