Data Engineer - Data Products - agap2 España
Desde Agap2 estamos buscando incorporar un perfil de Data Engineer – Data Products con experiencia en construcción de pipelines de datos y Big Data, orientado a la creación de productos de datos y a la puesta en producción de resultados y predicciones procedentes de modelos de Machine Learning.
¿Buscas dar tu próximo paso profesional en un proyecto innovador dentro del mundo Data & AI? ¡Queremos conocerte!
Responsabilidades
• Transformar datos inferidos y predicciones procedentes de modelos de Machine Learning en productos de datos fiables, accesibles y de alta calidad para diferentes usuarios y áreas de negocio.
• Diseñar, desarrollar y mantener pipelines de inferencia escalables, tanto batch como en tiempo real, para procesar e integrar los resultados de modelos de ML dentro del ecosistema de datos.
• Desarrollar y optimizar procesos de datos utilizando Python, SQL, Spark y Databricks.
• Diseñar y modelar datasets específicamente preparados para servir predicciones, features e insights a usuarios finales y aplicaciones downstream.
• Colaborar estrechamente con equipos de Data Science y Data Platform para facilitar el paso de los modelos desde la fase de desarrollo hasta su despliegue en producción.
• Contribuir a la implementación de buenas prácticas MLOps que permitan industrializar y mantener de forma robusta las soluciones de Machine Learning.
• Diseñar y mantener workflows de datos mediante Apache Airflow o herramientas de orquestación similares.
• Implementar y mantener pipelines de integración y despliegue continuo mediante Azure DevOps.
• Monitorizar el estado de los pipelines, la calidad de los datos y posibles desviaciones en los modelos mediante herramientas como Azure Monitor y Grafana.
• Trabajar con bases de datos relacionales como SQL Server y PostgreSQL para la explotación y consumo de los productos de datos.
Requisitos
• Más de 4 años de experiencia en desarrollo de software, Data Engineering o posiciones similares.
• Al menos 2 años de experiencia trabajando con frameworks Big Data y desarrollando pipelines de datos o Machine Learning preparados para entornos productivos.
• Experiencia sólida en Python y SQL.
• Experiencia trabajando con Databricks y Apache Spark.
• Experiencia con Apache Airflow o herramientas similares para la gestión y orquestación de workflows de datos.
• Experiencia trabajando con bases de datos relacionales, concretamente SQL Server y PostgreSQL.
• Experiencia implementando y manteniendo pipelines de CI/CD con Azure DevOps.
• Experiencia con herramientas de monitorización y alertas como Azure Monitor y Grafana, especialmente para el seguimiento de pipelines, calidad de datos y model drift.
• Experiencia trabajando en plataformas Cloud, específicamente Google Cloud Platform (GCP).
• Experiencia trabajando bajo metodologías Agile.
• Nivel de inglés fluido para desenvolverse en un entorno internacional y multicultural.
Valorable
• Experiencia o conocimientos de .NET.
• Experiencia trabajando con Kafka, Kubernetes o Snowflake.
• Conocimientos de bases de datos NoSQL como MongoDB, Elasticsearch o Cassandra.
• Familiaridad con conceptos relacionados con model serving y Feature Stores.
• Experiencia trabajando directamente con pipelines de inferencia de modelos de Machine Learning.
• Contribuciones a proyectos Open Source.
Ofrecemos
• Jornada completa y modalidad de trabajo híbrida en Barcelona.
• Contratación indefinida desde el primer momento.
• Retribución flexible, ticket restaurant, seguro médico y otros beneficios.
• Flexibilidad horaria.
• Formación continua y acceso a cursos y certificaciones.
• Trabajo dentro de equipos multidisciplinares junto a perfiles de Data Science, Data Engineering, Backend y DevOps.
Si te interesa la oportunidad y conocer todos los detalles, no dudes en aplicar al puesto para que podamos contactarte y hablar mejor sobre la posición, darte toda la información y resolver cualquier duda que te pueda surgir.
Agap2 es una empresa que ofrece igualdad de oportunidades, por ello nos comprometemos a tratar todas las candidaturas por igual en función de sus capacidades, logros y experiencia. Animamos a cualquier persona a presentar su candidatura que será tratada con igualdad de oportunidades independientemente de su raza, nacionalidad, sexo, edad, discapacidad, orientación sexual, identidad de género o cualquier otra característica.