DATA ENGINEER SPARK Y SCALA
Posted 3
views
Summary
Aubay Spain is hiring a Data Engineer in Madrid (hybrid, 50% remote) to support, maintain, and evolve a DataHub platform: resolving production incidents, optimizing code, and building scalable data pipelines primarily with Scala, Spark, Hadoop, and cloud object storage, orchestrated with Airflow, while contributing to a migration from Hadoop to a Kubernetes-based cloud architecture.
Funciones
En Aubay estamos buscando un/a Data engineer para participar en el soporte, mantenimiento, y evolución técnica de una plataforma DataHub.
Provincia : Madrid
Nº Vacantes (puestos) : 1
Entre sus principales responsabilidades estarán:
- Dar soporte a producción y realizar el mantenimiento del DataHub, resolviendo incidencias, anomalías y problemas relacionados con los datos, garantizando la estabilidad y disponibilidad de los procesos.
- Modificar y optimizar el código existente según las necesidades de negocio, buscando mejorar su rendimiento y mantenibilidad.
- Garantizar el rendimiento y la seguridad de la infraestructura de datos siguiendo buenas prácticas de Data Engineering.
- Realizar modelado de datos y desarrollar pipelines eficientes y escalables para la ingesta, transformación y enriquecimiento de grandes volúmenes de datos con reglas de negocio complejas.
- Diseñar e implementar pipelines de procesamiento utilizando principalmente Scala, Spark, Hadoop y almacenamiento de objetos cloud (COS/S3).
- Integrar datos procedentes de múltiples fuentes y formatos en la capa Raw del DataHub.
- Implementar procesos de transformación y controles de calidad que garanticen la consistencia y precisión de los datos.
- Configurar pipelines de CI/CD para automatizar despliegues, testing y gestión del desarrollo.
- Desarrollar y ejecutar pruebas unitarias y de validación para garantizar la calidad e integridad del código.
- Implementar procesos de orquestación y scheduling mediante Apache Airflow para automatizar la ejecución de pipelines.
- Participar en la migración de la infraestructura Hadoop hacia una arquitectura cloud basada en Kubernetes, almacenamiento de objetos (COS), Spark as a Service y Airflow as a Service.
- Elaborar documentación técnica y operativa para garantizar la transferencia y conservación del conocimiento.
Requisitos
Requisitos técnicos obligatorios:
- Experiencia con Scala y Spark
- SQL y bases de datos estructuradas
- Hadoop y HDFS
- Apache Airflow
- Oozie
- Almacenamiento de objetos S3/COS
- Shell scripting
- Herramientas CI/CD: GitLab, Jenkins o similares
- Experiencia desarrollando y optimizando pipelines de datos
- Procesos de transformación, enriquecimiento y calidad de datos
- Integración de datos procedentes de distintas fuentes y formatos
- Testing unitario y de validación
- Conocimiento del ciclo de vida de desarrollo de software (SDLC)
- Experiencia trabajando bajo metodologías Agile
Requisitos deseables:
- Kubernetes y containerización
- Dremio
- Elasticsearch y Kibana
- Kafka y/o procesamiento de datos en streaming
- HashiCorp Vault
- Dataiku
- Experiencia en migraciones de Hadoop hacia arquitecturas cloud
- Conocimiento del sector bancario
- Francés B1/B2 solo valorable
Se ofrece
- Contrato indefinido y proyecto estable
- Modalidad híbrida de trabajo (50% teletrabajo)
- Ubicación: Madrid Río
- Salario a negociar
- Formación a medida (certificaciones, idiomas...)
- Desarrollo profesional en ambiente internacional
- Retribución flexible (seguro médico, cheque guardería, ticket restaurante)