Data Engineer – Plataforma de Datos
Posted Updated
Summary
Data Engineer building and maintaining ingestion/transformation pipelines under a Medallion-architecture lakehouse, migrating it to Google Cloud (GCS, BigQuery, Cloud Run), and developing data APIs and access tools for AI agents with RBAC. Core stack: Python, advanced SQL, ETL/ELT, orchestrators like Airflow/Dagster/Prefect, Docker.
- Diseñar, desarrollar y mantener pipelines de ingesta y transformación de datos bajo arquitectura Medallion (Bronze, Silver y Gold).
- Integrar nuevas fuentes de datos mediante cargas completas e incrementales.
- Implementar procesos de deduplicación, validación y manejo de correcciones históricas.
- Participar en la evolución y migración del Lakehouse hacia Google Cloud Storage, BigQuery y Cloud Run.
- Desarrollar y mantener APIs de consulta e integración de datos.
- Construir herramientas y servicios de acceso a datos para agentes de IA (AI Harness).
- Implementar mecanismos de autenticación, autorización y control de acceso RBAC.
- Garantizar la calidad, trazabilidad y actualización de la información.
- Monitorear pipelines, diagnosticar incidentes y asegurar la continuidad operacional.
- Colaborar con equipos de desarrollo, Data Science y áreas de negocio.
- Experiencia sólida en Python, incluyendo desarrollo de código con pruebas automatizadas.
- Dominio de SQL avanzado: CTE, Window Functions y agregaciones complejas.
- Experiencia en modelado dimensional: tablas de hechos, dimensiones, granularidad e idempotencia.
- Experiencia en procesos ETL/ELT, cargas incrementales, deduplicación y tratamiento de correcciones retroactivas.
- Experiencia productiva con orquestadores como Dagster, Airflow, Prefect o similares.
- Conocimientos en integración de bases de datos relacionales y sus drivers.
- Experiencia desarrollando APIs e implementando mecanismos de autenticación, autorización y RBAC.
- Manejo de Git, Pull Requests, CI y Docker.
- Capacidad de análisis, autonomía y resolución de problemas.