Data Engineer
Summary
Build and maintain ETL/ELT pipelines for financial data using Apache Spark and AWS Glue, ensuring quality, lineage, and conversion logic.
- Implementar la lógica de transformación y conversión de datos contables.
- Diseñar, desarrollar y mantener pipelines ETL/ELT usando Apache Spark y AWS Glue.
- Garantizar la calidad, trazabilidad y linaje de los datos en cada etapa del pipeline.
- Colaborar con el BA para entender las reglas de negocio contable.
Requirements
- Especialista en el diseño y construcción de pipelines de transformación y conversión de datos contables.
- Responsable de procesar, transformar y cargar grandes volúmenes de información financiera.
- Diseñar, desarrollar y mantener pipelines ETL/ELT usando Apache Spark y AWS Glue.
- Implementar la lógica de transformación y conversión de datos contables.
- Gestionar catálogos de datos en AWS Glue Data Catalog.
- Garantizar la calidad, trazabilidad y linaje de los datos.
- Desarrollar scripts Python para automatización, limpieza y validación de datos.
- Colaborar con el BA para entender las reglas de negocio contable.
Hard Skills
- ETL
- ELT
- Apache Spark
- AWS Glue
- Python
- data transformation
- data conversion
- data quality
- data lineage
- data cataloging
Soft Skills
- collaboration
- business analysis