Data Engineer
Summary
Junior data engineer at Open Sistemas building distributed big-data processing pipelines in Spark (Scala and PySpark): translating business needs into data logic, ensuring data quality with automated tests and validation, and taking processes to production with versioning, monitoring, and documentation. Hybrid role based in Madrid (2 onsite days/week).
Buscamos un/a Data Engineer junior que quiera crecer en uno de los entornos de datos más grandes y exigentes: procesos distribuidos en producción, volúmenes masivos y un equipo que cuida la calidad del dato.
- Entender la necesidad de negocio y convertirla en especificaciones y algoritmos de cruce y tratamiento de datos
- Desarrollar procesos distribuidos sobre Spark (Scala y PySpark)
- Cuidar la calidad con tests automáticos y validación del dato a la entrada y a la salida
- Acompañar tus desarrollos hasta producción: versiones, subidas entre entornos, monitorización e incidencias
- Documentar bien lo que construyes
Empezarás arropado/a por el equipo y, poco a poco, llevarás tus procesos de extremo a extremo con autonomía.
- Al menos 1 año con Scala
- Unos 2 años con Python (PySpark), Spark y SQL
- Soltura en Linux y scripting bash
- Suma si has trabajado con Cloudera, Impala, Jenkins o planificadores tipo Control-M
Modelo híbrido: 2 días presenciales en Madrid y el resto en remoto (imprescindible vivir en Madrid o alrededores)
Proyecto estable, de largo recorrido y con mucho que aprender