Senior Data Engineer - Ingestion & Integrations Lead
Summary
Senior data engineer who designs, builds and operates an AWS serverless data platform for an international client, orchestrated with Apache Airflow (MWAA) and managed entirely as code. Day to day: Airflow DAGs, multi-source ingestion with dlt/Python, S3/Iceberg lakehouse, Snowflake + dbt modeling, Terraform/CDK and GitLab CI/CD.
Senior Data Engineer (AWS Serverless & Airflow) – Relación de Dependencia – Argentina
Información general
- Ubicación: Argentina
- Tipo de contrato: Relación de dependencia, full-time
- Industria / Proyecto: Plataforma de datos sobre AWS serverless para cliente internacional (industria a confirmar)
Sobre el rol
Buscamos un/a Senior Data Engineer para diseñar, construir y operar una plataforma de datos sobre AWS serverless, orquestada con Apache Airflow y gestionada íntegramente como código.
La posición combina ingeniería de datos, calidad y gobierno de datos. El foco está en pipelines confiables, automatizados y desplegados mediante CI/CD, que permitan al negocio contar con datos consistentes, trazables y disponibles a tiempo, con un uso eficiente de los costos cloud.
Vas a tener autonomía técnica para tomar decisiones de arquitectura, elegir el servicio adecuado para cada caso y definir buenas prácticas en toda la plataforma.
Responsabilidades
- Diseñar, construir y operar la plataforma de datos sobre el ecosistema serverless de AWS siguiendo los mejores patrones de la industria.
- Desarrollar DAGs de Airflow de punta a punta, con foco en idempotencia, reintentos, SLAs y manejo de fallos.
- Configurar y operar entornos MWAA, dependencias, plugins, escalado de workers y despliegues blue/green.
- Orquestar desde Airflow jobs de Glue, Lambda, ECS y Step Functions, e integrar dbt (a través de Cosmos) y dlt.
- Implementar ingesta multi-fuente con dlt y Python: APIs REST y GraphQL, Microsoft Graph, Cost Explorer, SharePoint, bases de datos y archivos.
- Diseñar y mantener el data lake / lakehouse en S3 con Parquet y Apache Iceberg sobre Glue Catalog.
- Modelar datos en Snowflake y dbt por capas, con tests y documentación.
- Desarrollar procesamiento con Spark / PySpark garantizando escrituras idempotentes y particionado eficiente.
- Aprovisionar la infraestructura como código con Terraform y/o AWS CDK / CloudFormation: entornos MWAA, Glue jobs, Lambdas, buckets S3, roles IAM y permisos de Lake Formation.
- Construir y mantener pipelines de GitLab CI/CD con separación de entornos (dev / staging / prod) y despliegues controlados por rama.
- Aplicar seguridad de mínimo privilegio, gobierno de datos con Lake Formation y manejo seguro de secretos.
- Implementar observabilidad con CloudWatch (logs, métricas, alarmas) y testing de DAGs.
- Optimizar costos de la arquitectura serverless aplicando prácticas de FinOps.
Requisitos
Must-Have
- +3 años de experiencia como Data Engineer en entornos cloud productivos.
- AWS serverless (nivel avanzado): Lambda, Fargate / ECS, Glue, Athena, EMR Serverless, Step Functions, EventBridge, S3, DynamoDB, API Gateway, AppSync, Kinesis, MSK, IAM, Lake Formation, Secrets Manager, CloudWatch, FinOps.
- Apache Airflow (nivel avanzado): arquitectura interna, operadores, hooks, sensores, taskflow API, XComs, dynamic task mapping, task groups, assets, MWAA, testing, parametrización por entorno.
- CI/CD y control de versiones (Git avanzado, GitFlow, GitLab CI/CD: stages, jobs, runners, variables, artefactos, caché).
- Infraestructura como código: Terraform avanzado, módulos reutilizables, variables por entorno, import de recursos existentes; AWS CDK y/o CloudFormation.
- Ingeniería de datos: Snowflake (modelado, SQL avanzado, optimización), dbt (modelado por capas, tests, docs), Spark / PySpark (performance tuning, debugging en Databricks), Parquet, Iceberg, delta lake, dlt.
- Familiaridad con Python avanzado y librerías de ingeniería de datos (pandas, numpy, airflow).
- Experiencia con seguridad y gobernanza de datos: RBAC, Data Catalog, políticas de enmascaramiento, Data Lake governance.
- Certificaciones Azure relacionadas con datos (DP-203, Azure Data Engineer Associate) o Databricks.
Nice-to-Have
- Docker y criterio para decidir dónde correr cargas (ECS vs. workers de Airflow).
- Criterio para elegir entre Glue y EMR como motor de procesamiento.
- Diseño de capas de proyección y consumo sobre DynamoDB para aplicaciones web.
- FinOps de datos: pipelines de costos cloud y análisis de consumo.
- Nociones de Kafka (MSK) y catalogación de topics.
¿Qué ofrecemos en Darwoft?
- Contratación en relación de dependencia, con remuneración en ARS.
- Modalidad de trabajo remota o Mixta.
- Salarios competitivos.
- Vacaciones y licencias según legislación vigente.
- Días personales adicionales por año.
- Acceso a plataformas de capacitación.
- Tarjeta de beneficios y descuentos.
- Welcome kit.
- Programas de reintegros.
- Clases de inglés.
- Programa de referidos.
- Regalo de cumpleaños.
- Healthy Break.
- Celebraciones, aniversarios y actividades de integración.
Skills
- Airflow
- API
- API Gateway
- Athena
- AWS
- Azure
- CDK
- CI/CD
- Cloud
- CloudFormation
- CloudWatch
- Data Engineering
- Data Governance
- Data Lake
- Databricks
- dbt
- Delta Lake
- Docker
- DynamoDB
- ECS
- Eventbridge
- Fargate
- FinOps
- Git
- Gitflow
- GitLab
- GraphQL
- IAM
- Iceberg
- Infrastructure as Code
- Kafka
- Kinesis
- Lakehouse
- Lambda
- NumPy
- Observability
- pandas
- Parquet
- PySpark
- Python
- RBAC
- REST
- S3
- Serverless
- SharePoint
- Snowflake
- Spark
- SQL
- Terraform
- Version Control
Sign in to read and join the discussion.