Data Engineer (Python, SQL, ETL)
Posted
Summary
Hands-on data engineer in Madrid building data solutions with pure code in an open-source environment — no visual ETL tools. Day to day involves writing Python scripts from scratch, advanced SQL, and ETL/ELT processing and orchestration, with PostgreSQL and StarRocks as the key technologies.
Buscamos un Data Engineer muy técnico y hands-on, con 4-5 años de experiencia, acostumbrado a desarrollar soluciones de datos mediante código puro, principalmente Python y SQL.
El entorno está fuertemente orientado a open source, sin herramientas ETL visuales. Se trabajará desarrollando scripts desde cero, procesando y orquestando datos, con PostgreSQL y StarRocks como tecnologías clave.
Requisitos imprescindibles
- Python: scripting desde cero, procesamiento e ingesta de datos, manejo de archivos y memoria, estructuras de datos y gestión de errores.
- SQL avanzado: joins, agregaciones, filtros, detección de duplicados, registros huérfanos y Window Functions.
- PostgreSQL: grandes volúmenes, creación y optimización de índices, EXPLAIN y tuning.
- ETL/ELT: desarrollo mediante código, cargas incrementales/totales, gestión de errores y controles de calidad del dato.
- Base sólida en Data Warehousing y bases de datos relacionales.
Valorable
- StarRocks, ClickHouse o Apache Doris.
- Modelado dimensional: hechos, dimensiones, estrella, OLTP vs OLAP.
- Git y orquestación con Airflow, Cron u otras herramientas open source.
- Conceptos básicos de Power BI.