Senior Data Engineer – AWS & Databricks - madrid
Summary
Designs and builds complex batch and streaming data pipelines (Python, SQL, Spark) for a global data platform on AWS and Databricks, working with Lakehouse architectures (Delta Lake/Iceberg/Hudi), CDC/upsert strategies, and Airflow orchestration. Hybrid role in Madrid for a data engineer with 4+ years of experience.
Desde Hubtalent, firma especializada en headhunting del sector IT buscamos un Data Engineer con mínimo 4 años de experiencia.
PROYECTO: Participación dentro de un proyecto internacional y estratégico de transformación de su ecosistema de datos.
El proyecto está especialmente orientado a trabajar con AWS, Databricks, Spark y arquitecturas modernas de Data Lake/Lakehouse, procesando grandes volúmenes de información y poniendo el foco en la eficiencia, escalabilidad y actualización de los datos.
FUNCIONES:
- Diseñar y desarrollar pipelines de datos complejos, tanto batch como streaming, utilizando Python, SQL y Spark.
- Trabajar en la construcción y evolución de una plataforma de datos global sobre AWS y Databricks.
- Diseñar soluciones para la gestión y actualización eficiente de grandes volúmenes de datos.
- Trabajar con streaming, CDC (Change Data Capture) y estrategias de upsert.
- Implementar y optimizar arquitecturas Lakehouse, trabajando con formatos como Delta Lake, Apache Iceberg o Hudi.
- Orquestar y automatizar workflows de datos mediante Airflow.
- Optimizar el rendimiento de procesos distribuidos y controlar la eficiencia y costes de las soluciones en AWS.
- Aplicar buenas prácticas de CI/CD, testing, seguridad e infraestructura como código.
⏱ HORARIO: Flexible!
Modelo híbrido: Tres días de Teletrabajo.
Madrid
✅REQUISITOS:
- Inglés: Avanzado.
- Mínimo 4 años de experiencia
SE OFRECE:
- Contrato indefinido en cliente final
- SBA + bonus (20%) + beneficios sociales
- Formación y desarrollo continuo.
Si eres un/a Data Engineer con experiencia en AWS, Databricks y Spark y quieres participar en la construcción de una plataforma de datos global, ¡queremos conocerte!