Skip to content
Search jobs inside your AI agent. Claude, ChatGPT, Claude Code, Codex, Gemini, Cursor and Grok
Connect

Decision group

Open 15d

Big Data Administrator

Posted Updated

Description

Nível Acadêmico: Ensino Superior Completo Turno/Horas -- Áreas de Atuação Profissional: TI - Projetos Descrição: 2x a week to São Carlos Habilidades: 'Experiência com o ecossistema AWS EMR e Hadoop. Sólida experiência em administração Linux e programação de scripts (Bash, Python). - Familiaridade com serviços da AWS como S3, EC2, IAM e CloudWatch. - Experiência com Terraform, CloudFormation e outras ferramentas DevOps. - Certificações AWS (Arquiteto de Soluções, Big Data, Engenheiro de Dados).- Experiência com EMR Serverless, Docker ou Kubernetes. 1. Administração de Cluster EMR: - Provisionar, configurar e gerenciar clusters do Amazon EMR. - Otimizar dimensionamento, escalonamento automático e desempenho. - Gerenciar componentes do Hadoop, incluindo HDFS, YARN, Hive e Spark. 2. Operações da Plataforma de Big Data: - Instalar, configurar e atualizar ferramentas de big data. - Monitorar a integridade do cluster e solucionar problemas. - Gerenciar pipelines de ingestão de dados, incluindo Kafka, Kinesis e AWS Glue. 3. Segurança, Conformidade e IAM: - Implementar segurança do EMR com configurações de IAM, Kerberos, KMS e VPC. - Garantir a conformidade com os padrões organizacionais. 4. Automação e DevOps: - Automatizar o provisionamento do EMR usando CloudFormation, CDK ou Terraform. - Criar pipelines de CI/CD usando ferramentas da AWS ou Jenkins. - Implementar estratégias de otimização de custos. 5. Monitoramento e Solução de Problemas: - Utilize CloudWatch, CloudTrail e o Console do EMR para diagnósticos. - Otimize os jobs do Spark e do Hive para melhor desempenho. 6. Colaboração e Suporte: - Trabalhe em estreita colaboração com engenheiros de dados e equipes de nuvem. - Forneça suporte à produção e assistência de plantão.'

Skills

Apply

See also