Data Engineer (Spark, Scala, Java, Azure Databricks)
Summary
METRICA is hiring a Data Engineer in Spain to design, build, and support data lake pipelines for market-risk use cases, working with Apache Spark, Scala, Java, and SQL orchestrated via Airflow and Control-M on Azure Databricks and AWS EMR, including performance tuning and production incident support.
Buscamos incorporar un/a Data Engineer para participar en el diseño, desarrollo, integración y soporte de soluciones de datos en un entorno tecnológico internacional.
La persona seleccionada trabajará con tecnologías de procesamiento distribuido y cloud, principalmente Apache Spark, Scala, Java, Azure Databricks, AWS EMR y Apache Airflow, colaborando con distintos equipos para asegurar la calidad, integración y operación de los pipelines de datos.
- Diseñar, desarrollar y mantener pipelines de data lake utilizando Spark, Scala y SQL.
- Orquestar flujos de trabajo por lotes y dependencias con Control-M y Airflow.
- Implementar procesos de ingesta, transformación, validación y publicación de datos para casos de uso de riesgo de mercado.
- Optimizar el rendimiento, la fiabilidad y la escalabilidad de las cargas de trabajo basadas en Spark.
- Analizar deficiencias técnicas y funcionales, proponer soluciones y apoyar la planificación de la entrega.
- Brindar soporte en incidentes de producción, análisis de causa raíz y mejora continua de los procesos operativos.
- Colaborar con equipos ágiles, equipos funcionales y equipos de soporte de producción para generar valor para el negocio.
- Al menos 2 años de experiencia en roles similares.
- Experiencia demostrable con Java, Spark, Scala y SQL (más de 2 años).
- Experiencia con Azure Databricks y Apache Airflow.
- Experiencia en el uso de herramientas basadas en IA para mejorar la productividad en el desarrollo.
- Integración continua (Git, GitHub Actions).
- Computación en la nube: Azure y AWS.
- Experiencia con AWS EMR.
- Conocimientos básicos de ciberseguridad y calidad (Fortify, Sonar, Raptor, etc.).
- Nivel mínimo de inglés: B2.
Amazon EMR Avanzado Obligatorio
MySQL Avanzado Obligatorio
Microsoft Azure Avanzado Obligatorio
Apache Spark Avanzado Obligatorio
Data Ingestion & Transformation Avanzado Opcional
Reporting regulatorio Avanzado Opcional
- Salario competitivo, acorde a la experiencia y conocimientos aportados.
- Oportunidades de desarrollo profesional y formación continua.
- Participación en proyectos de alto impacto tecnológico.
- Entorno de trabajo colaborativo e innovador.
- Flexibilidad horaria y modalidad de trabajo a definir.
Si eres un profesional apasionado por la tecnología, con una mentalidad orientada a la solución y buscas un entorno donde puedas crecer y aportar valor, ¡te invitamos a unirte a nuestro equipo en Metrica España!