Data Engineer - Databricks Lakehouse (Remote, Growth)
Summary
A mid-level Data Engineer will modernize a 15-year-old data warehouse into a governed Databricks Lakehouse, building batch and streaming pipelines with PySpark, Delta Lake, and a Bronze/Silver/Gold medallion architecture. Day to day: Python/SQL development, Spark job optimization, and ensuring data governance, quality, and parity during migration, with some exploration of AI tools.
AgileEngine busca un Data Engineer de nivel medio para modernizar un data warehouse de 15 años hacia un Lakehouse gobernado en Databricks. Construirás pipelines batch y streaming usando PySpark y Delta Lake, siguiendo una arquitectura medallion Bronze/Silver/Gold.
También se explorará uso de herramientas IA para acelerar el desarrollo. Trabajarás con Python/SQL, optimizarás trabajos de Spark y garantizarás gobernanza, calidad de datos y paridad durante la migración.