Data Engineer - Data Products

Descripción del trabajo

Desde Agap2 estamos buscando incorporar un perfil de. Compruebe que cumpla con los requisitos de habilidades para este puesto, así como con la experiencia asociada,

Data Engineer – Data Products

Responsabilidades

• Transformar datos inferidos y predicciones procedentes de modelos de Machine Learning en productos de datos fiables, accesibles y de alta calidad para diferentes usuarios y áreas de negocio.
• Diseñar, desarrollar y mantener pipelines de inferencia escalables, tanto batch como en tiempo real, para procesar e integrar los resultados de modelos de ML dentro del ecosistema de datos.
• Desarrollar y optimizar procesos de datos utilizando Python, SQL, Spark y Databricks.
• Diseñar y modelar datasets específicamente preparados para servir predicciones, features e insights a usuarios finales y aplicaciones downstream.
• Colaborar estrechamente con equipos de Data Science y Data Platform para facilitar el paso de los modelos desde la fase de desarrollo hasta su despliegue en producción.
• Contribuir a la implementación de buenas prácticas MLOps que permitan industrializar y mantener de forma robusta las soluciones de Machine Learning.
• Diseñar y mantener workflows de datos mediante Apache Airflow o herramientas de orquestación similares.
• Implementar y mantener pipelines de integración y despliegue continuo mediante Azure DevOps.
• Monitorizar el estado de los pipelines, la calidad de los datos y posibles desviaciones en los modelos mediante herramientas como Azure Monitor y Grafana.
• Trabajar con bases de datos relacionales como SQL Server y PostgreSQL para la explotación y consumo de los productos de datos.

Requisitos

• Más de 4 años de experiencia en desarrollo de software, Data Engineering o posiciones similares.
• Al menos 2 años de experiencia trabajando con frameworks Big Data y desarrollando pipelines de datos o Machine Learning preparados para entornos productivos.
• Experiencia sólida en Python y SQL.
• Experiencia trabajando con Databricks y Apache Spark.
• Experiencia con Apache Airflow o herramientas similares para la gestión y orquestación de workflows de datos.
• Experiencia trabajando con bases de datos relacionales, concretamente SQL Server y PostgreSQL.
• Experiencia implementando y manteniendo pipelines de CI/CD con Azure DevOps.
• Experiencia con herramientas de monitorización y alertas como Azure Monitor y Grafana, especialmente para el seguimiento de pipelines, calidad de datos y model drift.
• Experiencia trabajando en plataformas Cloud, específicamente Google Cloud Platform (GCP).
• Experiencia trabajando bajo metodologías Agile.
• Nivel de inglés fluido para desenvolverse en un entorno internacional y multicultural.

Valorable

• Experiencia o conocimientos de .NET.
• Experiencia trabajando con Kafka, Kubernetes o Snowflake.
• Conocimientos de bases de datos NoSQL como MongoDB, Elasticsearch o Cassandra.
• Familiaridad con conceptos relacionados con model serving y Feature Stores.
• Experiencia trabajando directamente con pipelines de inferencia de modelos de Machine Learning.
• Contribuciones a proyectos Open Source.

Ofrecemos

• Jornada completa y modalidad de trabajo híbrida en Barcelona.
• Contratación indefinida desde el primer momento.
• Retribución flexible.
• ticket restaurant, seguro médico y otros beneficios.
• Flexibilidad horaria.
• Formación continua y acceso a cursos y certificaciones.
• Trabajo dentro de equipos multidisciplinares junto a perfiles de Data Science, Data Engineering, Backend y DevOps.

Agap2 es una empresa que ofrece igualdad de oportunidades, por ello nos comprometemos a tratar todas las candidaturas por igual en función de sus capacidades, logros y experiencia. xkdbapo Animamos a cualquier persona a presentar su candidatura que será tratada con igualdad de oportunidades independientemente de su raza, nacionalidad, sexo, edad, discapacidad, orientación sexual, identidad de género o cualquier otra característica.