Ingeniero/a de Datos Ot Dmz IT
Summary
Build and optimize cloud data pipelines (ADF/Databricks) that ingest industrial OT data into a Lakehouse, clean and transform with PySpark/SQL, and enforce governance and security using Unity Catalog and Azure Key Vault.
Pipelines de datos: diseñar, construir y optimizar flujos de ingesta y orquestación en la nube (ADF / Databricks) desde sistemas industriales hacia el Data Lake. Integración de nuevas fuentes: incorporar nuevos orígenes de datos al Lakehouse corporativo, evaluando restricciones de conectividad y ciberseguridad entre OT, DMZ e IT. Transformación de datos: construir lógica de limpieza y procesamiento masivo con PySpark, Spark SQL, Delta Lake y DLT. Calidad del dato: auditar, monitorear y asegurar la consistencia del dato a lo largo de toda la solución. Gobernanza y seguridad: aplicar políticas de control de acceso (Unity Catalog) y gestionar credenciales (Azure Key Vault). Optimización: afinar consultas y consumo de recursos en clústeres y bases de datos relacionales/no relacionales. CI/CD: versionar código (Git/GitHub) e implementar despliegue continuo con Azure DevOps y DABs. Gestión de riesgos: identificar y mitigar riesgos que afecten la continuidad de la ingesta, documentando el traspaso a Continuidad Operacional.
Lenguajes y procesamiento de datos
Python y SQL a nivel avanzado
Procesamiento distribuido a gran escala con Apache Spark y PySpark
Databricks & Arquitectura Lakehouse
Patrón Medallón (Bronze / Silver / Gold)
Workflows, Delta Lake, Databricks Asset Bundles (DABs), Autoloader Unity Catalog (gobernanza de datos) y Delta Live Tables (DLT)
Ecosistema Azure
Azure Data Factory (ADF) — orquestación de pipelines ETL/ELT
Azure Data Lake Storage Gen2 (ADLS Gen2)
Azure Key Vault — gestión de secretos
Azure DevOps / Git — CI/CD y versionamiento
Conocimientos en Redes e integración
Conectividad segura entre dominios de red (OT, DMZ, IT)
Nociones de ciberseguridad industrial, permisos y accesos
🎓 Formación académica
Título profesional: Ingeniero(a) Civil con especialidad en Informática, Computación, o carrera afín.