ENGENHEIRO DE DADOS EM IA (PJ)
Posted Updated 1
view
Description
- Participar do levantamento de requisitos junto aos clientes e stakeholders.
- Desenvolver e manter pipelines de ingestão, transformação e processamento de dados (ETL/ELT).
- Integrar dados provenientes de APIs, bancos de dados, planilhas e outros sistemas.
- Modelar, implementar e otimizar bancos de dados relacionais, analíticos e NoSQL.
- Desenvolver soluções de Inteligência Artificial utilizando LLMs, RAG e agentes de IA.
- Desenvolver APIs para integração entre sistemas e aplicações.
- Apoiar a implantação e monitoramento das soluções em ambientes de nuvem.
- Documentar processos, pipelines e soluções desenvolvidas.
- Colaborar com a equipe na evolução contínua das soluções de Dados e IA.
- Python; SQL; Modelagem de bancos de dados relacionais.
- PostgreSQL, MySQL, SQL Server ou bancos equivalentes.
- Conceitos de ETL/ELT.
- Integração de dados entre diferentes sistemas.
- Git; Docker; APIs REST.
- Conhecimentos básicos em Cloud (AWS, Azure ou GCP).
- Conhecimento ou experiência com IA Generativa (OpenAI, Claude, Gemini ou similares).
- Engenharia de Prompts.
- Conceitos de RAG (Retrieval-Augmented Generation).
- Apache Airflow; dbt; Airbyte; ClickHouse; MongoDB; Redis; FastAPI; LangChain; LangGraph; LlamaIndex; Bancos vetoriais (Qdrant, pgvector, Pinecone, Weaviate ou similares); Busca híbrida e embeddings; CI/CD; Observabilidade (Grafana, Prometheus ou similares); Data Warehouse e Data Lake
- Apache Airflow; dbt; Airbyte; ClickHouse; MongoDB; Redis; FastAPI; LangChain; LangGraph; LlamaIndex; Bancos vetoriais (Qdrant, pgvector, Pinecone, Weaviate ou similares); Busca híbrida e embeddings; CI/CD; Observabilidade (Grafana, Prometheus ou similares); Data Warehouse e Data Lake
Skills
- Airbyte
- Airflow
- API
- AWS
- Azure
- CI/CD
- ClickHouse
- Cloud
- Data Lake
- Data Warehousing
- dbt
- Docker
- ELT
- Embeddings
- ETL
- FastAPI
- GCP
- Generative AI
- Git
- Grafana
- LangChain
- LangGraph
- LlamaIndex
- LLM
- MongoDB
- MySQL
- NoSQL
- Observability
- OpenAI
- pgvector
- Pinecone
- PostgreSQL
- Prometheus
- Python
- Qdrant
- RAG
- RDBMS
- Redis
- REST
- SQL
- SQL Server
- Weaviate