Senior AWS Data Engineer – Data Migration & Automation

Buscamos un Senior AWS Data Engineer / Data Migration & Automation Engineer con experiencia sólida en ingeniería de datos, migración de bases de datos, desarrollo y transformación de procesos ETL/ELT y automatización de soluciones sobre AWS.
La persona será responsable de llevar procesos existentes de bases de datos, SQL y ETLs hacia AWS, asegurando que la migración sea técnicamente correcta, automatizada, trazable, escalable y operable en los diferentes ambientes.
Un aspecto fundamental del rol es que la solución no quede únicamente desarrollada, sino que todo el ciclo de desarrollo y despliegue quede automatizado mediante GitHub y GitHub Actions, siguiendo buenas prácticas de CI/CD.

1. Responsabilidades principales:

Migración de bases de datos
● Analizar bases de datos y plataformas existentes para identificar estructuras, dependencias, volumen, complejidad y riesgos de migración.
● Diseñar y ejecutar estrategias de migración hacia AWS.
● Configurar y operar AWS Database Migration Service (AWS DMS) para migraciones y replicaciones.
● Gestionar cargas iniciales, cargas incrementales y procesos de sincronización.
● Participar en actividades de cutover, validación y estabilización de las plataformas migradas.
● Realizar troubleshooting de errores de migración, conectividad, rendimiento y consistencia de datos.

SQL y bases de datos

● Desarrollar y mantener SQL avanzado.
● Analizar y adaptar queries, vistas, stored procedures, funciones y procesos SQL existentes.
● Identificar diferencias entre motores de bases de datos origen y destino.
● Optimizar consultas y procesos para mejorar rendimiento.
● Diseñar mecanismos de validación y reconciliación de información entre origen y destino.

ETL / ELT y AWS Glue

● Analizar procesos ETL existentes y comprender su lógica funcional y técnica.
● Migrar y rediseñar procesos ETL/ELT para ejecutarse sobre AWS.
● Desarrollar pipelines utilizando AWS Glue.
● Crear y administrar Glue Jobs, Crawlers, Workflows y Glue Data Catalog.
● Desarrollar transformaciones utilizando Python y/o PySpark.
● Diseñar procesos de ingesta, transformación y carga sobre S3 y otros servicios AWS.
● Automatizar la ejecución, dependencia y orquestación de los pipelines.
● Implementar controles de calidad y validaciones dentro de los procesos de datos.

Automatización y CI/CD

● Utilizar GitHub como plataforma de control de versiones y colaboración.
● Definir y mantener estrategias de branching, pull requests y code reviews.
● Diseñar e implementar pipelines de GitHub Actions.
● Automatizar procesos de build, testing, packaging y deployment.
● Automatizar despliegues hacia los diferentes ambientes: DEV, QA/UAT y PROD.
● Gestionar variables, secrets y configuraciones de forma segura.
● Implementar mecanismos de rollback y control de versiones.
● Integrar GitHub Actions con AWS para automatizar el despliegue de componentes de datos y ETL.
● Reducir al mínimo las actividades manuales en el ciclo de desarrollo y operación.

Infraestructura y operación AWS

● Implementar infraestructura y configuraciones mediante Infrastructure as Code.
● Trabajar preferentemente con Terraform y/o AWS CloudFormation.
● Configurar monitorización, logging y alertas utilizando Amazon CloudWatch.
● Implementar y operar servicios de AWS orientados a datos, automatización y procesamiento.
● Participar en el diseño de soluciones escalables, seguras y mantenibles

2. Requerimientos técnicos:

AWS
Experiencia práctica y demostrable con:
● AWS Glue
● AWS DMS
● Amazon S3
● Amazon CloudWatch
● AWS IAM
● AWS Lambda
● AWS Step Functions y/o herramientas de orquestación equivalentes
● EventBridge y/o mecanismos de automatización de eventos

Data Engineering
● ETL / ELT
● Data pipelines
● Data migration
● Data transformation
● Data validation y reconciliation
● Data quality
● Procesamiento de grandes volúmenes de datos

SQL y bases de datos
● SQL avanzado
● Queries complejas
● Joins
● CTEs
● Window functions
● Stored procedures
● Functions
● Views
● Optimización de consultas
● Experiencia con bases de datos relacionales

Lenguajes
● Python
● PySpark como conocimiento altamente deseable para AWS Glue

GitHub y DevOps
● Git
● GitHub
● GitHub Actions
● CI/CD
● Pull Requests
● Branching strategies
● Automated testing
● Automated deployments
● Gestión de secrets y variables
● Integración de GitHub con AWS

Infrastructure as Code
● Terraform y/o CloudFormation

Experiencia con bases de datos
Se valorará especialmente experiencia con uno o varios de los siguientes motores:
● Oracle
● Microsoft SQL Server
● PostgreSQL
● MySQL
El candidato debe ser capaz de entender un entorno de base de datos existente, identificar dependencias y adaptar la solución para el entorno AWS destino.

Competencias profesionales
● Capacidad analítica.
● Orientación a la automatización.
● Atención al detalle.
● Orientación a calidad de datos.
● Capacidad de troubleshooting.
● Pensamiento estructurado.
● Buenas prácticas de desarrollo.
● Capacidad para documentar soluciones técnicas.
● Trabajo colaborativo.
● Capacidad para gestionar prioridades y entregas.
● Orientación a resultados.

Perfil técnico esperado
El candidato ideal debe ser capaz de trabajar end-to-end en una migración de datos.
Como referencia, debería poder participar en un flujo como:
Base de datos origen → AWS DMS → Amazon S3 → AWS Glue → Transformaciones SQL / Python / PySpark → Base de datos o Data Warehouse destino → Validación y reconciliación → CI/CD con GitHub Actions → Monitorización con CloudWatch
Además, debe ser capaz de llevar este flujo desde el desarrollo hasta producción utilizando procesos automatizados y controlados.