Data Engineer
Summary
Designs and maintains data pipelines, ETL/ELT processes, and real-time data flows using Google Cloud Platform, Python, SQL, and Spark to ensure data quality and consistency.
- Diseñar e implementar pipelines de datos de complejidad baja y media, considerando fuentes, transformaciones y destinos, bajo buenas prácticas de ingeniería de datos.
- Mantener y optimizar procesos ETL/ELT existentes, mejorando su rendimiento, tiempos de ejecución y uso de recursos.
- Integrar datos provenientes de distintas fuentes (bases de datos, APIs, archivos, plataformas cloud), asegurando consistencia y trazabilidad.
- Aplicar reglas de validación, limpieza y control de calidad de datos, detectando anomalías e inconsistencias.
- Diseñar e implementar mecanismos automáticos de validación y control de calidad en los pipelines de datos.
- Documentar pipelines, modelos de datos, transformaciones y dependencias, siguiendo los estándares del proyecto y del cliente.
- Atender requerimientos técnicos del proyecto y apoyar la resolución de incidencias relacionadas con datos, interactuando con equipos del cliente.
- Aplicar estándares de desarrollo, versionamiento, seguridad y buenas prácticas definidas por el cliente y la organización.
- Aplicar lineamientos de seguridad en el tratamiento y procesamiento de datos del cliente.
- Participar activamente en instancias de aprendizaje, mejora continua y adopción de nuevas herramientas o prácticas de ingeniería de datos.
Diseño, construcción y consulta de soluciones MPP (Massive Parallel Processing) en BigQuery
Gestión de eventos y flujos de datos en tiempo real (Pub/Sub y Dataflow)
Conocimiento y experiencia en el entorno de Google Cloud Platform
Conocimientos en técnicas y herramientas de procesamiento distribuido de datos (ej. Spark)
Dominio avanzado de Python y SQL (scripts complejos y optimización de queries)
Conocimientos en Terraform para el despliegue de recursos en Google Cloud Platform
Experiencia en la gestión de flujos con Cloud Composer (Apache Airflow)
Uso experto de Git/GitHub y metodologías de CI/CD para despliegues de datos
Habilidades blandas
Comunicación asertiva, orientación hacia los clientes, trabajo en equipo, planificación y organización, innovación, pensamiento analítico, capacidad de aprendizaje.
Formación requerida
Profesional en Ingeniería de Sistemas, Ingeniería de Datos, Informática, Estadística o carreras afines.
Experiencia requerida
2 años (deseable: 2 a 3 años de experiencia en ingeniería de datos, analítica o proyectos de datos en entornos productivos).