Data Engineer/ Arquitecto Técnico Databricks
Summary
Senior data engineer / technical architect designing batch and streaming pipelines and Lakehouse (Delta Lake, Medallion) architectures on Databricks and Azure, with hands-on PySpark, SQL, Azure Data Factory and DevOps work. The Databricks Certified Data Engineer Professional certification is mandatory.
Descripción del trabajo
Buscamos Data Engineer / Arquitecto Técnico Databricks
¿Te apasiona la ingeniería del dato, las arquitecturas Lakehouse y los entornos cloud de última generación?
Estamos incorporando un/a Data Engineer Senior / Arquitecto Técnico Databricks para participar en un proyecto estratégico de transformación y analítica avanzada, trabajando con tecnologías punteras dentro del ecosistema Databricks y Azure.
¿Qué harás?
Diseñar y desarrollar pipelines de datos batch y streaming sobre Databricks.
Construir arquitecturas Lakehouse basadas en Delta Lake.
Implementar procesos de ingesta, transformación y explotación de datos con PySpark y SQL.
Diseñar modelos de datos bajo arquitectura Medallion (Bronze, Silver y Gold).
Optimizar rendimiento de plataformas y cargas de trabajo distribuidas.
Participar en la definición de estándares de desarrollo, despliegue y gobierno del dato.
Colaborar con equipos de Data, Analytics, AI y Negocio en proyectos de alto impacto.
Tecnologías principales
- Databricks
- Apache Spark
- PySpark
- Delta Lake
- Databricks SQL
- Azure Data Lake Storage
- Azure Data Factory
- Microsoft Fabric
- Azure DevOps
- AWS
Buscamos profesionales con
- Más de 3 años de experiencia en Ingeniería del Dato.
- Experiencia sólida con Databricks en entornos productivos.
- Conocimientos avanzados de Spark, PySpark y SQL.
- Experiencia en diseño de arquitecturas Lakehouse.
- Optimización de entornos Databricks y Delta Lake.
Muy valorable
- Kafka y plataformas de streaming.
- dbt.
- Airflow.
- Terraform. xbhjioe
- Migraciones de ETL tradicionales a Databricks.
Imprescindible
Certificación Databricks Certified Data Engineer Professional