Data Engineer Remoto

Empresa de tecnología busca un Data Engineer para trabajar de manera remota en un proyecto.

Condiciones:

1.Renta: a convenir

2, Jornada laboral: El proyecto tiene una duración de 120 horas.

3.Lugar de trabajo: remoto.

4.Funciones:

Revisión de documentación y fuentes

• Analizar los archivos de ejemplo de hasta 6 fuentes de datos (brokers/vehículos, JSON de assets, etc.) y su metadata disponible.
• Identificar campos clave, llaves de negocio y necesidades de normalización/anonimización.

Diseño técnico de la solución ETL

• Definir el modelo de datos común para las 6 fuentes (esquemas, tipos, particiones y naming en S3).
• Diseñar el flujo ETL

Configuración de la plataforma en AWS

• Crear y/o ajustar buckets S3, estructuras de carpetas y permisos básicos para el data lake.
• Configurar Glue Catalog (tablas y bases) y recursos básicos de Glue para la orquestación.

Desarrollo de pipelines ETL para hasta 6 fuentes

• Implementar jobs de ingestión: lectura de archivos, tipificación de campos, gestión de errores.
• Implementar jobs de normalización: mapping de columnas a modelo estándar, enriquecimientos básicos, generación de datasets curados listos para cálculo.
• Incorporar reglas mínimas de calidad de datos (campos obligatorios, tipos, rangos) y logging de registros rechazados.

Tets y afinamiento

• Ejecutar test con datos reales/de ejemplo para las 6 fuentes, documentar incidentes y ajustar transformaciones.
• Medir tiempos de proceso y revisar estructura de particionado para optimizar consultas posteriores.

Documentación y traspaso

• Documentar los flujos ETL (diagramas sencillos, descripción de jobs/tablas, rutas de S3, reglas por fuente).
• Realizar una sesión de handover con el equipo del cliente para explicar cómo operar y extender los pipelines.

5.Requisitos:

• Experiencia mínima: 3 años como Ingeniero de Datos / Data Engineer trabajando con procesos ETL.

Experiencia en:

• Diseño e implementación de pipelines ETL/ELT (idealmente en proyectos de consolidación de múltiples fuentes).
• Manejo de datos en AWS:
• Obligatorio: S3, IAM, servicios de cómputo orientados a datos (AWS Glue, AWS Lambda o similar).
• Deseable: Athena y/o Redshift para pruebas/validación de datos.
• Uso de SQL para consultas y validaciones; deseable Python para scripts de transformación.
• Trabajo con formatos de datos como CSV, Excel, JSON

Requisitos

Valorado

Experiencia profesional