Senior Data Engineer #2 (Remoto)
Summary
Senior data engineer who designs, builds and maintains scalable ETL/ELT pipelines in production on AWS or Azure, including data quality checks, monitoring and performance/cost optimization, working with the data engineering lead and architect. Core stack: SQL, Python/Scala, Airflow-style orchestration, Spark and cloud data services.
Senior Data Engineer #2 (Remoto)
Você conhece a Icon?
Apaixonados por pessoas e especialistas em tecnologia. Nosso trabalho é encontrar talentos e soluções sob medida para os nossos clientes.
Vem encontrar o seu projeto ideal conosco e participar da comunidade ICON!
Sobre a Vaga
Código da vaga: A65718065417
Modelo de contratação: PJ
Posição de engenharia sênior com atuação prática Será responsável pela construção e manutenção de pipelines de dados em produção em uma plataforma de nuvem, normalmente atuando em uma frente de trabalho ou stack de cloud diferente dentro da mesma equipe de engenharia de dados.
Principais Responsabilidades
• Projetar, desenvolver e manter pipelines ETL/ELT escaláveis em AWS ou Azure.
• Otimizar o desempenho, a confiabilidade e a eficiência de custos dos pipelines.
• Implementar verificações de qualidade de dados, monitoramento e alertas para pipelines em produção.
• Trabalhar em conjunto com o Líder de Engenharia de Dados e o Arquiteto no desenho dos pipelines e definição de padrões.
• Apoiar a modelagem de dados e o desenho de schemas em conjunto com o Analista de Modelagem de Dados.
• Diagnosticar e solucionar problemas de pipelines de dados em produção.
• Participar de revisões de código e contribuir para as boas práticas de engenharia.
Requisitos
• Mais de 5 anos de experiência prática em engenharia de dados.
• Conhecimento aprofundado em uma plataforma de cloud: AWS (Glue, S3, Redshift, EMR, Lambda, Kinesis) ou Azure (Data Factory, Synapse, ADLS, Databricks).
• Forte conhecimento em SQL e Python (ou Scala), com experiência em ferramentas de orquestração como Airflow, ADF, entre outras.
• Experiência com desenvolvimento de ETL/ELT, verificações de qualidade de dados e otimização de desempenho.
• Conhecimento de frameworks de processamento distribuído de dados, como Spark.
• Experiência operando pipelines de dados em produção em grande escala.
• Sólido conhecimento de Data Warehousing e conceitos de modelagem dimensional.
Diferenciais
• Conhecimento de CI/CD e infraestrutura como código, como Terraform.
• Experiência com pipelines de dados em streaming, como Kafka, Kinesis e Event Hubs.
• Conhecimento de dbt ou ferramentas similares de transformação de dados.
Local
Remoto
Inglês FLUENTE
Atuará no fuso horário PST (Pacific Standard Time)
#vemserICON