Data Engineer Senior (Cloud Azure)
Summary
Build and optimize scalable data pipelines on Azure, integrating diverse sources into efficient ETL and warehouse solutions using Databricks, Data Factory, and Spark.
Buscamos un(a) Data Engineer para diseñar, desarrollar e implementar soluciones escalables de integración y procesamiento de datos. Será responsable de construir y optimizar pipelines de datos, garantizar la calidad de la información y colaborar con equipos técnicos y de negocio para transformar requerimientos en soluciones de datos eficientes.
Condiciones laborales
- Modalidad de trabajo:
- Híbrido para Bogotá y alrededores.
- Remoto para el resto de Colombia.
- Calendario Mexicano
- Diseñar e implementar soluciones escalables de integración y procesamiento de datos.
- Construir, mantener y optimizar pipelines de datos en Azure.
- Integrar múltiples fuentes de datos garantizando su calidad, consistencia y disponibilidad.
- Diseñar y desarrollar procesos ETL y soluciones de Data Warehouse.
- Optimizar procesos de extracción, transformación y carga (ETL).
- Desarrollar soluciones utilizando Azure Data Factory y Azure Databricks.
- Monitorear, depurar y mejorar continuamente el desempeño de los pipelines de datos.
- Implementar integraciones mediante arquitecturas basadas en microservicios.
- Aplicar buenas prácticas DevOps para el despliegue y operación de soluciones de datos.
- Colaborar con equipos técnicos y de negocio para convertir requerimientos en soluciones de datos.
- Garantizar el rendimiento, disponibilidad y confiabilidad de la información.
Habilidades y experiencia requeridas
- Experiencia en diseño y desarrollo de procesos ETL, pipelines de datos y soluciones de Data Warehouse.
- Experiencia con bases de datos estructuradas y no estructuradas.
- Conocimiento en optimización de consultas SQL y rendimiento.
- Experiencia con servicios de Azure como Data Factory, Databricks, SQL Data Warehouse y Event Hubs.
- Conocimientos de programación en Python, .NET, C# o Java.
- Experiencia en consumo e implementación de microservicios.
- Conocimiento de tecnologías Big Data como Apache Spark y Kafka.
- Experiencia con Docker, Kubernetes, Terraform y ARM Templates.
- Manejo de formatos de datos JSON, XML y CSV.