Engenheiro de Dados Pleno

O Data Engineer focado em AI é responsável por construir a infraestrutura que viabiliza Machine Learning e aplicações de Generative AI. Ele garante que dados estejam organizados, confiáveis, acessíveis e escaláveis para treinamento e inferência.

É um perfil orientado a arquitetura, escalabilidade e performance.

Responsabilidades:

• Construir pipelines de ingestão batch e streaming
• Estruturar data lakes e data warehouses
• Criar datasets otimizados para ML
• Implementar pipelines de embeddings
• Construir indexação vetorial para RAG
• Garantir qualidade, governança e segurança de dados
• Otimizar custo de armazenamento e processamento
• Trabalhar com AI Engineers para estruturar feature stores

Linguagens:

• Python
• SQL avançado
• Scala (opcional)

Orquestração & Transformação

• Apache Airflow
• dbt
• Prefect

Processamento de Dados

• Spark
• Pandas
• PySpark

Armazenamento

• Data Lakes (S3, GCS, Azure Blob)
• Data Warehouses (BigQuery, Snowflake, Redshift)
• Bancos NoSQL
• Bancos vetoriais (Pinecone, Weaviate, FAISS)

Streaming

• Kafka
• Pub/Sub

Infraestrutura

• Docker
• Kubernetes
• Cloud (AWS, GCP ou Azure)

🧠 Hard Skills

• Modelagem de dados
• ETL / ELT
• Processamento distribuído
• SQL avançado
• Arquitetura de dados escalável
• Experiência com dados não estruturados (texto, logs, PDF)
• Conceitos de DataOps
• Versionamento e qualidade de dados