Senior Data Engineer
Summary
Senior Data Engineer building a secure Lakehouse (Iceberg) with NebulaGraph for complex relationships, scalable ETL/ELT pipelines (Spark/Python), and real-time streaming (Kafka/Airflow).
Overview
Ingeniero/a de Datos Senior para contribuir al diseño y la implementación de una arquitectura de datos. El candidato será experto en la creación de arquitecturas Lakehouse modernas (Iceberg) y en el modelado de relaciones complejas mediante Bases de Datos de Grafos (NebulaGraph), garantizando que los datos sean trazables, gobernados y accesibles en entornos de alta seguridad.
Responsibilities
- Arquitectura Lakehouse: Diseñar e implementar la capa de almacenamiento masivo utilizando Apache Iceberg y Polaris Catalog sobre infraestructura S3/Open S3 (MinIO), asegurando la consistencia y el rendimiento de los datos estratégicos.
- Ingeniería de Grafos: Utilizando NebulaGraph.
- Pipelines de Datos Escalables: Desarrollar procesos ETL/ELT avanzados con Spark y Python para la ingesta de fuentes heterogéneas.
- Gobierno y Calidad: Implementar la capa de observabilidad y catálogo de datos mediante OpenMetadata.
- Orquestación y Streaming: Configurar flujos de trabajo complejos con Airflow y gestionar la ingesta de eventos en tiempo real mediante Kafka.
- Optimización de Consultas: Implementar Trino como motor de consultas federadas para permitir que los analistas consulten múltiples fuentes sin duplicidad de datos.
Experiencia y aptitudes
- NebulaGraph (Modelado y consultas ngQL), conocimiento general de grafos.
- Grafana, creación de dashboards de monitorización técnica y operativa.
Beneficios y cultura
- Flexibilidad real: Conciliación entre vida personal y laboral con horarios adaptables.
- Innovación y modelo propio: Proyectos retadores donde podrás trabajar y evolucionar Polaris, nuestro modelo ágil adaptable, basado en nuestra experiencia.
- Comunidad experta: Te unirás a una comunidad de ágiles activa, donde ampliamos conocimiento de forma colaborativa con el objetivo de ser un referente en el sector.
- Capacitación real: Acceso a un plan de formación anual que incluye un Programa de Certificaciones y formaciones oficiales.
- Acompañamiento desde el inicio: Contarás con un Buddy desde tu incorporación, que te ayudará a crecer, apoyarte y sentirte parte de Paradigma.
- El dominio técnico es parte de nuestra identidad.
- Beneficios sociales: Seguro médico 100% cubierto.
- Conócenos mejor aquí: YouTube Paradigma Digital
Diversidad e inclusión
En Paradigma, la igualdad es clave. Creamos un entorno donde todas las personas son bienvenidas, independientemente de género, edad, religión, orientación sexual o cualquier otra condición. Trabajamos para garantizar la igualdad salarial y de oportunidades.
En Paradigma, creamos el cambio. ¿Te sumas?