Data Engineer Semi Sr

Responsabilidades principales

- Desarrollar y mantener pipelines ETL/ELT en Azure Data Factory y Databricks.

- Implementar lógica de carga incremental y transformaciones en PySpark y SQL.

- Gestionar y extender estructuras de datos en Azure Data Lake Storage (ADLS) bajo arquitectura medallion (Bronze / Silver / Gold).

- Ejecutar validaciones y controles de calidad de datos; configurar alertas ante anomalías o fallas.

- Mantener pipelines funcionales en ambientes de pre-producción y producción.

- Versionar código y documentar desarrollos siguiendo estándares del equipo (Git, Azure DevOps).

- Dar soporte ante incidentes en flujos de datos productivos.

Experiencia

- Ingeniería de datos con pipelines en entornos productivos.

- Experiencia práctica con Azure Data Factory y Databricks.

- Dominio de SQL y Python (PySpark deseable) para transformación y validación de datos.

- Familiaridad con arquitectura medallion o capas de datos curadas (Bronze / Silver / Gold).

- Experiencia gestionando pipelines en múltiples ambientes (dev / pre-prod / prod).

Habilidades técnicas

- Diseño e implementación de cargas incrementales y manejo de datos históricos.

- Control de calidad de datos: validaciones, reconciliaciones y monitoreo.

- Buenas prácticas de desarrollo: versionamiento, documentación, modularidad.

- Capacidad de identificar y resolver incidentes en pipelines productivos con autonomía.