Data Engineer – Streaming (Kafka & Flink)
Summary
Builds real-time data pipelines using Kafka and Flink for a critical banking client, focusing on low-latency processing, schema evolution, and exactly-once semantics.
En NTT Data estamos participando en la construcción de una arquitectura de datos en tiempo real para uno de nuestros principales clientes.
Buscamos Data Engineers con experiencia en procesamiento en streaming para diseñar y desarrollar pipelines de datos near real-time basados en Apache Kafka y Apache Flink.
El proyecto implica trabajar en entornos críticos con altos volúmenes de datos, requisitos de baja latencia y estándares exigentes de calidad, seguridad y rendimiento.
🚀 ¿Qué harás en tu día a día?
- Desarrollo y mantenimiento de pipelines de datos en tiempo real con Apache Kafka y Apache Flink.
- Implementación de transformaciones, enriquecimientos y lógica de negocio en streaming.
- Diseño de modelos de datos orientados a consumo.
- Gestión de esquemas y evolución de contratos de datos.
- Implementación de mecanismos de idempotencia y control de versiones de eventos.
- Integración con bases de datos NoSQL (MongoDB) y entornos Cloud.
- Participación en revisiones técnicas, pruebas de rendimiento y optimización de latencia.
- Colaboración con equipos de arquitectura, DevOps y gobierno del dato.
- +1 año de experiencia como Data Engineer (valorable experiencia superior).
- Experiencia práctica desarrollando con:
- Apache Kafka (productores, consumidores, particionado, offsets).
- Apache Flink (DataStream API, ventanas, estado, checkpoints).
- Experiencia trabajando con datos en tiempo real (streaming).
Valoraremos especialmente experiencia en:
- Experiencia en:
- Procesamiento de eventos idempotente / exactly-once.
- Optimización de rendimiento y troubleshooting en sistemas distribuidos.
- Desarrollo en Java o Python.
- Experiencia en sector bancario o entornos críticos.
- Conocimientos de:
- Modelado de datos.
- Bases de datos relacionales y/o NoSQL.
- Experiencia con Git y control de versiones.
- Experiencia en entornos Cloud (GCP, AWS o Azure).
- Conocimientos de CI/CD y ciclo de vida de aplicaciones.
- Conocimientos de observabilidad (métricas, logging, tracing).