Lead Data Engineer
Description
Lead Data Engineer
AWS / Python / Spark / Apache / Airflow / Ingles + Espanol
- Título: Lead Data Engineer - AWS / Python / Spark
- Ubicación: 100% Teletrabajo - (Idealmente en Málaga)
- Duración: 12 meses renovables
Contexto
Buscamos un/a Lead Data Engineer para participar en un proyecto de integración de plataformas, trabajando con grandes volúmenes de datos, del orden de terabytes diarios, en un entorno AWS.
La posición requiere un perfil de alta seniority, con capacidad para tomar decisiones técnicas y contribuir al diseño y evolución de la plataforma de datos. Podría incluir responsabilidades de liderazgo y coordinación de equipo.
Must Have
- Más de 10 años de experiencia profesional relevante, con una trayectoria consolidada en ingeniería de datos.
- Experiencia sólida en desarrollo con Python y Apache Spark.
- Experiencia con Apache Airflow para la orquestación de pipelines y sus dependencias.
- Experiencia procesando grandes conjuntos de datos, con volúmenes del orden de terabytes diarios.
- Experiencia práctica en plataformas de datos sobre AWS.
- Experiencia con Apache Iceberg.
- Conocimientos sólidos de modelado de datos dimensional, siguiendo metodologías como Kimball.
- Inglés B2 alto, con capacidad para mantener conversaciones técnicas y colaborar con el resto del equipo.
Key Responsibilities
- Diseñar, desarrollar y mantener pipelines de integración y transformación de datos mediante Python y Spark.
- Orquestar y supervisar los flujos de procesamiento con Apache Airflow.
- Integrar datos procedentes de diferentes plataformas, garantizando su consistencia y disponibilidad.
- Optimizar el procesamiento de grandes volúmenes de datos en AWS.
- Implementar y evolucionar estructuras de datos basadas en Apache Iceberg.
- Diseñar modelos de datos dimensionales adaptados a las necesidades de consumo y análisis.
- Contribuir a las decisiones técnicas y a las buenas prácticas de ingeniería de datos.
- Asumir, si el proyecto lo requiere, la coordinación técnica y el acompañamiento de otros ingenieros.
Nice to Have
- Experiencia previa como Tech Lead o responsable de equipos de Data Engineering.
- Experiencia en arquitecturas data lake / lakehouse sobre AWS.
- Conocimientos de optimización de costes y rendimiento en plataformas de datos a gran escala.
- Experiencia con pruebas automatizadas, calidad del dato y observabilidad de pipelines.
Contact: menna@senovo-IT.com
Horario:
Invierno: lunes a jueves, de 9:00 a 19:00; viernes, de 8:00 a 14:30.
Verano - del 1 de julio al 15 de septiembre: lunes a jueves, de 8:00 a 15:00; viernes, de 8:00 a 14:30.
Skills
Sign in to read and join the discussion.