Senior Data Engineer ( AWS & Data Bricks)
Posted 6
views
Summary
A senior data engineer designs and runs data pipelines on AWS and Databricks: ingesting and replicating data with AWS DMS, processing with PySpark on EMR/Glue, orchestrating ETL/ELT with Airflow or Step Functions, and managing Databricks backend architecture (Jobs, Unity Catalog) on AWS.
- Ingesta y replicación de datos con AWS DMS (CDC y batch) desde fuentes on-premise y cloud.
- Procesamiento distribuido con PySpark en EMR/Glue, optimizando rendimiento y costos.
- Orquestación de ETL/ELT con Airflow o Step Functions.
- Flujos de datos serverless con Lambda, SQS y EventBridge en casi tiempo real y batch.
- Gestión de arquitectura backend de Databricks sobre AWS
- Manipulación de procesos de datos con Databricks (Jobs, Unity Catalog, External Components)
Conocimientos y Certificaciones Indispensables:
- Databricks sobre AWS
- Experiencia en AWS / Databricks
Conocimientos y Certificaciones Deseables:
- Trabajo con equipos multidisciplinarios
- Pensamiento analitico con enfoque a resolucion de problemas