AWS Data Engineer (PySpark Redshift Iceberg Airflow)

Nível Acadêmico: Ensino Superior Completo Turno/Horas -- Áreas de Atuação Profissional: TI - Projetos Descrição: 'Graduação em Sistemas de Informação, Ciência da Computação, Engenharia de Dados ou área relacionada; Inglês Avançado/Fluente - C2 (haverá contato com cliente internacional); Experiência comprovada com desenvolvimento AWS com foco em Glue, Spark e Redshift; Proficiência em linguagens de programação como Python ou Scala para processamento de dados; Forte entendimento dos conceitos e melhores práticas de data warehousing; Experiência com SQL e sistemas de gerenciamento de banco de dados é necessária. Principais responsabilidades: Projetar, desenvolver e implementar soluções de dados na AWS utilizando Glue, Spark e Redshift. Colaborar com engenheiros de dados e cientistas de dados para entender os requisitos de dados e traduzi-los em pipelines de dados escaláveis; Criar e gerenciar processos ETL usando AWS Glue para extrair, transformar e carregar dados de várias fontes; Otimizar fluxos de trabalho de processamento de dados no Apache Spark para garantir um manuseio e análise de dados eficientes; Desenvolver e manter modelos e esquemas de dados no Amazon Redshift para suportar relatórios e análises; Monitorar e solucionar problemas em pipelines de dados para garantir a qualidade e integridade dos dados; Documentar processos de dados, arquitetura e melhores práticas para compartilhamento de conhecimento e conformidade. ' Habilidades: Qualquer localidade - Hibrido ou Remoto