Data Engineer Especialista en PySpark
Summary
Data Engineer at RetailBeat, a Mexican firm that measures product availability and retail execution, builds and maintains cloud data pipelines using Azure Synapse, Data Factory, Data Lake and Databricks with PySpark and Python, loading and transforming large-scale data into Azure SQL Server with quality validations. On-site in Querétaro.
Somos una empresa mexicana con mas de 22 años en el mercado, desarrollamos procesos y tecnología que ayudan a nuestros clientes a medir y garantizar la disponibilidad de sus productos en el punto de venta, así como a evaluar el cumplimento de sus objetivos de ejecución.Nuestro mercado principal son empresas de productos de consumo masivo, retailers y aquellas involucradas en el aseguramiento de la disponibilidad.
Con personal propio y nuestra tecnología llevamos a cabo estudios en campo para evaluar de forma imparcial la situación de las marcas de nuestro cliente en diferentes canales a nivel nacional.Estamos fortaleciendo nuestro equipo de Datos y Analítica para acelerar la construcción de productos de datos confiables y escalables.
El Data Engineer es encargado de recopilar, limpiar y organizar datos para que estén disponibles de manera precisa, confiable y oportuna, facilitando su uso en análisis y toma de decisiones. Trabaja en estrecha colaboración con equipos de negocio y analítica para diseñar e implementar procesos de integración, transformación y almacenamiento de datos, aplicando buenas prácticas de calidad y eficiencia.
Debe contar con habilidades en programación, manejo de bases de datos y herramientas de análisis, así como capacidad para resolver problemas, documentar procesos y comunicar hallazgos de forma clara. Su función abarca desde la preparación de datos hasta el soporte en su explotación, asegurando que los productos de datos sean escalables y cumplan con las necesidades de la organización.
- Construir y mantener procesos de integración de datos en la nube utilizando Azure Synapse Analytics, Azure Data Factory, Azure Blob Storage y Azure Data Lake.
- Desarrollar y optimizar pipelines de datos en Databricks empleando Spark (PySpark) y Python para el procesamiento eficiente de grandes volúmenes de información.
- Cargar, transformar y estructurar datos en Azure SQL Server y otros repositorios para su análisis y explotación.
- Implementar controles y validaciones que garanticen la calidad, integridad y consistencia de los datos.
- Dominio de herramientas y servicios de Azure: Synapse Analytics, Data Factory, Blob Storage, Data Lake y Databricks.
- Indispensable programación con Spark (PySpark) y Python para el manejo de datos a gran escala.
- Conocimiento en bases de datos relacionales, especialmente Azure SQL Server.
- Capacidad para optimizar procesos de ETL y trabajar con grandes volúmenes de datos.
Mejora en KPIS de satisfacción del cliente, crecimiento de cuentas gestionadas, eficiencia en reporteo y análisis mensual.
Licenciatura o ingeniería en Sistemas, Computación o Informática.
Experiencia:1 a 2 años construyendo procesos de datos con PySpark y Azure Synapse (Spark pools + Pipelines), manejo de ADLS Gen2 y Parquet; deseable experiencia en ambientes de retail o consumo masivo.