Senior Data Engineer
Posted
Summary
Senior Data Engineer designing and maintaining batch and streaming data pipelines on GCP (Dataflow/Apache Beam, Pub/Sub, BigQuery, Cloud Spanner), focusing on data quality, idempotency, and observability, with infrastructure managed via Terraform and CI/CD. Hybrid role based in Las Condes, Santiago, with 2 onsite days per week.
- Diseñar y mantener pipelines batch y streaming con Pub/Sub, Dataflow, BigQuery y Cloud Spanner
- Integrar, transformar, modelar y validar datos de clientes, marketing, loyalty, travel, órdenes y eventos
- Implementar calidad, idempotencia, deduplicación, reintentos, DLQ y observabilidad end-to-end
- Resolver incidentes y asegurar trazabilidad, frescura y consistencia de los datos
- Gestionar infraestructura y despliegues con Terraform y CI/CD
- Colaborar con propietarios de las fuentes
- Generar datos sintéticos coherentes para pruebas end-to-end, casos borde y regresiones
- Consolidar e integrar información de clientes de múltiples dominios y sistemas, disponibilizándola mediante API
Requirements
- Experiencia con GCP, especialmente Dataflow/Apache Beam, Pub/Sub, BigQuery, Cloud Spanner y Python
- Dominio de arquitecturas batch, streaming y event-driven
- Conocimientos de ventanas, deduplicación, idempotencia, reintentos y DLQ
- Experiencia en modelamiento operacional y analítico, integración de fuentes y evolución de esquemas
- Manejo de Terraform, Git, GitLab CI/CD, Docker, IAM, seguridad, Cloud Monitoring y Cloud Logging
- Disponibilidad para trabajar de manera híbrida en Las Condes, 2 días a la semana presencial
- Conocimientos de gRPC, Protobuf y APIs deseables, pero no excluyentes
Core Competencies
Proficient in designing and maintaining data pipelines using GCP technologies such as Dataflow, Pub/Sub, and BigQuery, with a strong focus on data quality, integration, and observability. Experienced in managing infrastructure with Terraform and CI/CD practices to ensure efficient deployment and operation.
Highest-signal resume keywords
- GCP
- Dataflow/Apache Beam
- Pub/Sub
- BigQuery
- Terraform
Hard Skills
- Python
- Data Modeling
- Data Integration
- Idempotency
- Deduplication
- Event-Driven Architecture
- Operational Analytics
- API Development
- Cloud Monitoring
- Cloud Logging
Soft Skills
- Collaboration
- Problem Solving
Industry Keywords
- Batch Processing
- Streaming Processing
- Data Quality
- Observability
- Synthetic Data Generation
Tools & Technologies
- Git
- GitLab CI/CD
- Docker
- IAM