Data Engineer / Developer (Migración Databricks)
Summary
Data engineer for an ETL migration project to Databricks: reviewing and validating AI-generated code, running data parity/reconciliation tests between legacy systems and Databricks, fixing Spark performance issues, and handling Git-based releases and post-deployment stabilization. Core stack: Python, SQL, Apache Spark/PySpark, Delta Lake, Git and CI/CD.
Data Engineer / Developer | Migración de Procesos ETL a Databricks
¿Te apasiona la ingeniería de datos, la optimización de procesos ETL y la calidad del código en ambientes productivos? Buscamos un/a Data Engineer / Developer con sólida experiencia en Python, SQL y Apache Spark para participar en un desafiante proyecto de migración tecnológica hacia Databricks.
Tendrás un rol clave asegurando que los desarrollos cumplan con altos estándares de calidad, rendimiento y seguridad, validando soluciones generadas mediante herramientas asistidas por IA y garantizando la correcta transición de procesos críticos de negocio.
Principales Responsabilidades
- Revisar y validar código generado por sistemas multiagentes e inteligencia artificial.
- Analizar bundles de código identificando riesgos de rendimiento, calidad y mantenibilidad.
- Diseñar y ejecutar pruebas de paridad y reconciliación de datos entre plataformas legacy y Databricks.
- Detectar y corregir problemas asociados a Spark como data skew, shuffles excesivos o tipificación incorrecta.
- Gestionar hallazgos de seguridad, vulnerabilidades y observaciones detectadas por herramientas SAST.
- Administrar ciclos de desarrollo mediante Git Flow y Pull Requests.
- Resolver incidencias levantadas durante QA, UAT y etapas de despliegue.
- Monitorear y estabilizar pipelines durante períodos de hipercare post-implementación.
- Escalar oportunamente situaciones que requieran definición arquitectónica o análisis especializado.
Requisitos Excluyentes
- Formación profesional en Ingeniería Informática, Ingeniería Civil Informática, Ingeniería en Ejecución Informática o carrera afín.
- Experiencia en ingeniería de datos o desarrollo ETL.
- Experiencia trabajando con Python y SQL en ambientes productivos.
- Experiencia práctica utilizando Apache Spark y/o PySpark.
- Experiencia realizando revisión de código (Code Review) como parte habitual del trabajo.
- Manejo de Git y flujos de Pull Request.
- Experiencia en análisis, validación y depuración de procesos de datos en ambientes productivos.
Conocimientos Técnicos
- Python
- PySpark
- SQL / T-SQL
- Apache Spark
- Delta Lake
- ETL
- Git
- Pull Requests
- Code Review
- YAML
- Pytest
- SQL Server Agent
- CI/CD
Deseables
- Experiencia con Databricks y Databricks Asset Bundles.
- Conocimientos de Azure DevOps.
- Experiencia con seguridad de código y herramientas SAST.
- Conocimientos de SSIS o Alteryx.
- Git avanzado.
- Experiencia en automatización y validación de procesos de datos.
Buscamos Personas Que
- Posean criterio técnico y capacidad de análisis.
- Se sientan cómodas revisando y validando código desarrollado por terceros.
- Tengan foco en calidad, estabilidad y buenas prácticas.
- Sepan identificar cuándo resolver de manera autónoma y cuándo escalar situaciones complejas.
- Se adapten a entornos de trabajo apoyados por herramientas de IA y automatización.