Engenheiro de dados (pleno)
Description
O Data Engineer focado em AI é responsável por construir a infraestrutura que viabiliza Machine Learning e aplicações de Generative AI. Ele garante que dados estejam organizados, confiáveis, acessíveis e escaláveis para treinamento e inferência.
É um perfil orientado a arquitetura, escalabilidade e performance.
Responsabilidades:
- Construir pipelines de ingestão batch e streaming
- Estruturar data lakes e data warehouses
- Criar datasets otimizados para ML
- Implementar pipelines de embeddings
- Construir indexação vetorial para RAG
- Garantir qualidade, governança e segurança de dados
- Otimizar custo de armazenamento e processamento
- Trabalhar com AI Engineers para estruturar feature stores
Requisitos:
Linguagens:
- Python
- SQL avançado
- Scala (opcional)
Orquestração & Transformação
- Apache Airflow
- dbt
- Prefect
Processamento de Dados
- Spark
- Pandas
- PySpark
Armazenamento
- Data Lakes (S3, GCS, Azure Blob)
- Data Warehouses (BigQuery, Snowflake, Redshift)
- Bancos NoSQL
- Bancos vetoriais (Pinecone, Weaviate, FAISS)
Streaming
- Kafka
- Pub/Sub
Infraestrutura
- Docker
- Kubernetes
- Cloud (AWS, GCP ou Azure)
Hard Skills
- Modelagem de dados
- ETL / ELT
- Processamento distribuído
- SQL avançado
- Arquitetura de dados escalável
- Experiência com dados não estruturados (texto, logs, PDF)
- Conceitos de DataOps
- Versionamento e qualidade de dados
Benefícios
Vale-refeição e/ou vale-alimentação de R$950,00 por mês no cartão Ifood;
Convênio Médico SulAmérica (100% custeado pela empresa);
Plano Odontológico MetLife;
Plano de saúde Pet;
Seguro de vida;
♂️ Totalpass e Wellhub para manter as atividades físicas a qualquer hora e lugar;
Birthday Day Off para curtir no seu aniversário como quiser;
Parceria com o Sesc;
✈️ Parceria com a OnHappy (descontos em hotéis e passagens);
Parceria com instituições de ensino;
Reembolso creche;
Equipamentos de trabalho (Pode parecer óbvio, mas achamos importante reforçar);
Cultura de feedback e desenvolvimento;
Ambiente dinâmico e com grandes oportunidades de crescimento;
Empréstimo consignado com as menores taxas de juros;
Remuneração variável em reconhecimento de desempenho, performance e alinhamento de cultura.