Data Engineer Azure Databricks
Posted Updated
Acerca de la empresa
Empresa líder en su sector busca integrar a su equipo a un Senior Data Engineer apasionado por la tecnología en la nube para diseñar, construir y operar la infraestructura de datos de nueva generación basada en Azure y Databricks.
¿Qué harás en este rol?
- Arquitectura de Datos: Diseñar y construir pipelines de datos robustos y escalables bajo la arquitectura Medallion (Bronze, Silver, Gold) en Azure Databricks.
- Operaciones End-to-End: Hacerte cargo del ciclo de vida completo de las soluciones de datos en producción: diseño, desarrollo, despliegue (CI/CD), monitoreo y resolución de incidentes.
- Calidad y Gobernanza: Implementar marcos de trabajo (frameworks) de observabilidad, pruebas automatizadas, calidad de datos y accesos seguros con Unity Catalog.
- Colaboración: Trabajar de la mano con analistas, científicos de datos y Data Product Owners para poner a disposición datos confiables que impulsen modelos de IA, Machine Learning y BI (uso de herramientas como Databricks Genie).
- Liderazgo Técnico: Definir mejores prácticas de ingeniería, optimizar costos en la nube y mentorear a ingenieros de menor experiencia.
¿Qué buscamos? (Requisitos)
- Escolaridad: Licenciatura o Ingeniería en Sistemas, Ciencias de la Computación, Informática o afín (Titulado o Pasante).
- Experiencia: 5+ años en Ingeniería de Datos, con al menos 3 años de experiencia práctica sólida trabajando con Azure y Databricks.
- Ingles: De Básico a Avanzado.
Conocimientos Técnicos Indispensables:
- Plataforma: Azure Databricks (Delta Lake, PySpark, Spark SQL, Unity Catalog, Workflows).
- Ecosistema Azure: Azure Data Lake Storage (ADLS Gen2), Data Factory, Key Vault y Azure DevOps / GitHub.
- Lenguajes: Python y SQL avanzado (deseable manejo de Scala).
- Modelado: Experiencia en arquitectura Medallion, Data Warehousing, Data Mesh y diseño de Data Products.
- Prácticas: Control de versiones (Git), integración y despliegue continuo (CI/CD) para pipelines.
Soft Skills:
- Proactividad y mentalidad de liderazgo (ownership).
- Capacidad de resolver problemas complejos en ambientes de producción.
- Buena comunicación para colaborar con áreas de negocio y tecnología.