Data Engineer (Python - Pyspark - Aws), 100% En Remoto
Posted
Summary
Data Engineer (3+ years) at Spanish consultancy Arelance, 100% remote from Spain, developing and optimizing Python/PySpark ETL pipelines and evolving a core data engine on AWS (S3, Athena, SageMaker). Involves advanced SQL for data quality/auditing, Jenkins CI/CD, and exposure to GenAI (LLM agents) and FastAPI development.
Data Engineer (Python - PySpark - AWS) En Arelance sabemos que las personas son el activo más importante dentro de una empresa y por tanto invertimos muchos esfuerzos en buscar los mejores profesionales para nuestros clientes y en ofrecer a nuestros candidatos los mejores proyectos. En este momento buscamos un/a Data Engineer con fuerte componente backend y mínimo 3 años de experiencia para incorporarse a un proyecto orientado al procesamiento de datos, calidad, auditoría y evolución de un engine principal basado en Python y PySpark. El perfil trabajará en entornos AWS, con buenas prácticas DevOps y exposición a GenAI y desarrollo de APIs. Responsabilidades - Desarrollo, mantenimiento y optimización de flujos ETL en Python y PySpark.
- Evolución del engine principal de datos y su librería asociada.
- Diseño y ejecución de consultas SQL avanzadas para: - Auditoría y control de calidad de datos - Cruces entre tablas - Validación de claves primarias - Detección de duplicados - Identificación de errores entre origen y proceso - Uso de Git/GitHub para control de versiones, branching y revisión de código.
- Interpretación y soporte de pipelines CI/CD en Jenkins, ejecución de builds y diagnóstico de fallos. Trabajo con servicios core de AWS: - S3 (almacenamiento) - Athena (consultas y depuración) - SageMaker (revisión y despliegue de procesos) Requisitos imprescindibles - Titulación en Informática, Telecomunicaciones, Ingeniería o similar. Experiencia avanzada en: - Python y PySpark (ETLs, optimización, procesamiento de datos) - SQL avanzado aplicado a auditoría y control de calidad de datos Conocimientos sólidos en: - Git y GitHub - CI/CD con Jenkins - Experiencia práctica en AWS, especialmente: S3, Athena, SageMaker Requisitos valorables AWS y Arquitecturas - Experiencia con AWS Lambda y AWS Fargate.
- Monitorización con CloudWatch.
- Gestión de flujos, métricas y trazas con Kinesis.
- GenAI y Desarrollo Backend Experiencia en desarrollo de agentes basados en LLMs (OpenAI, LangGraph). Prompt Engineering avanzado, especialmente para: - Integraciones con búsquedas web - Desarrollo de agentes inteligentes - Desarrollo de APIs con FastAPI.
- Observabilidad y trazabilidad con OpenTelemetry. Negocio y Gestión - Familiaridad con conceptos financieros y negocio core para una correcta interpretación de los datos.
- Uso habitual de Jira para seguimiento de tareas e incidencias.
- Nivel avanzado de Excel para análisis rápidos y cruces ad-hoc. Condiciones - Contrato indefinido con Arelance - Modalidad en remoto desde España ETL, Big data,PySpark, Python, AWS, S3, Athena, SageMaker
- Evolución del engine principal de datos y su librería asociada.
- Diseño y ejecución de consultas SQL avanzadas para: - Auditoría y control de calidad de datos - Cruces entre tablas - Validación de claves primarias - Detección de duplicados - Identificación de errores entre origen y proceso - Uso de Git/GitHub para control de versiones, branching y revisión de código.
- Interpretación y soporte de pipelines CI/CD en Jenkins, ejecución de builds y diagnóstico de fallos. Trabajo con servicios core de AWS: - S3 (almacenamiento) - Athena (consultas y depuración) - SageMaker (revisión y despliegue de procesos) Requisitos imprescindibles - Titulación en Informática, Telecomunicaciones, Ingeniería o similar. Experiencia avanzada en: - Python y PySpark (ETLs, optimización, procesamiento de datos) - SQL avanzado aplicado a auditoría y control de calidad de datos Conocimientos sólidos en: - Git y GitHub - CI/CD con Jenkins - Experiencia práctica en AWS, especialmente: S3, Athena, SageMaker Requisitos valorables AWS y Arquitecturas - Experiencia con AWS Lambda y AWS Fargate.
- Monitorización con CloudWatch.
- Gestión de flujos, métricas y trazas con Kinesis.
- GenAI y Desarrollo Backend Experiencia en desarrollo de agentes basados en LLMs (OpenAI, LangGraph). Prompt Engineering avanzado, especialmente para: - Integraciones con búsquedas web - Desarrollo de agentes inteligentes - Desarrollo de APIs con FastAPI.
- Observabilidad y trazabilidad con OpenTelemetry. Negocio y Gestión - Familiaridad con conceptos financieros y negocio core para una correcta interpretación de los datos.
- Uso habitual de Jira para seguimiento de tareas e incidencias.
- Nivel avanzado de Excel para análisis rápidos y cruces ad-hoc. Condiciones - Contrato indefinido con Arelance - Modalidad en remoto desde España ETL, Big data,PySpark, Python, AWS, S3, Athena, SageMaker