Fullstack .Net Cloud AWS
Summary
Remote data engineering role at Tecdata Engineering: build and maintain high-volume ETL/ELT data pipelines in Python with advanced SQL, orchestrated with Apache Airflow on AWS. Main platform is SingleStore, with Snowflake also used; the project handles billing/financial data requiring precision and auditability.
Competencias técnicas principales
Sólidos conocimientos de Python, especialmente aplicado a ingeniería de datos: desarrollo de pipelines, procesos ETL/ELT y tareas similares.
SQL avanzado: capacidad para trabajar con consultas complejas, optimización del rendimiento y diferentes entornos de bases de datos.
Experiencia práctica con Apache Airflow, concretamente en la creación y programación de DAGs en AWS.
Buenos conocimientos generales de AWS.
Experiencia en bases de datos y plataformas de datos
SingleStore: es la plataforma principal del proyecto, por lo que sería ideal tener experiencia con ella, especialmente en diseño de esquemas, optimización de consultas y pipelines de ingesta de datos.
Snowflake: se valoran conocimientos o experiencia, ya que actualmente cuentan con varios proyectos que utilizan esta plataforma.
Rendimiento de bases de datos: conocimientos de indexación, particionamiento y optimización de consultas en entornos de gran volumen de datos.
Ingeniería de datos y experiencia en sistemas
Experiencia demostrable diseñando y manteniendo pipelines de datos complejos y de alto volumen.
Se valorará especialmente la experiencia con sistemas de facturación o datos financieros, debido a la naturaleza del proyecto, que requiere un alto nivel de precisión, trazabilidad y capacidad de auditoría.
Capacidad para incorporarse y comprender de forma autónoma sistemas ya existentes, sin necesitar que toda la documentación esté preparada desde cero.