Remote Data Engineer: Azure ETL & Spark Analytics
Posted Updated
Description
Agileengine, Llc. busca un Data Engineer para diseñar, desarrollar y operar pipelines ETL/ELT en Azure, garantizando ingesta, transformación y disponibilidad de datos para analítica y BI. Se trabajará con Azure Data Factory, Azure Databricks y almacenamiento en Blob/Data Lake Gen2, aplicando governanza y buenas prácticas.
Debe manejar Spark y PySpark para batch y near-real-time, y colaborar con ciencia de datos, BI y producto; se valoran certificaciones DP-203 o Databricks y experiencia en CI/CD.
Diseñar y desarrollar pipelines ETL/ELT en Azure Data Factory y Databricks. Implementar pipelines con Spark y PySpark para batch y near-real-time. Modelar y optimizar consultas SQL para reporting y consumo analítico. Gestionar datos en Azure Blob Storage y Data Lake Gen2. Construir pipelines reproducibles con logging, métricas y alertas. Colaborar con ciencia de datos, BI y producto para contratos de datos y SLAs. Automatizar despliegues y pruebas de pipelines con CI/CD. Garantizar políticas de seguridad y privacidad de datos. Documentar arquitecturas y runbooks; participar en on-call cuando aplique. Experiencia comprobable como Data Engineer (mín. 3 años) con Azure Data Factory y Azure Databricks. Dominio de Apache Spark y PySpark para procesamiento distribuido. Sólidos conocimientos de SQL: modelado, tuning y optimización. Conocimiento práctico de Azure Blob Storage y Azure Data Lake Gen2 (Parquet/Delta Lake). Familiaridad con herramientas de orquestación, monitoreo y CI/CD aplicadas a datos. Inglés técnico intermedio. Residir en Argentina. Experiencia con Delta Lake y optimizaciones de storage. Conocimientos en seguridad y gobernanza de datos: RBAC, Data Catalog. Python avanzado y librerías de data (pandas, numpy, Airflow). Experiencia en performance tuning de Spark y troubleshooting en Databricks. Certificaciones Azure relacionadas con datos (DP-203) o Databricks. Experiencia en entornos cloud a gran escala y trabajo ágil.Skills
Sign in to read and join the discussion.