LLMs Data Analyst | Senior (Hybrid/SP)
Summary
This role involves developing and evolving Generative AI solutions, focusing on LLM orchestration using LiteLLM, implementing LLMOps pipelines, and monitoring model performance and costs. The analyst will build data pipelines, create dashboards for performance tracking, and optimize AI model usage across various cloud platforms.
- Desenvolver e evoluir soluções de IA Generativa para diferentes casos de negócio;
- Projetar e implementar integrações com LiteLLM para orquestração de múltiplos provedores de LLM;
- Definir estratégias de roteamento, fallback, observabilidade e governança de modelos;
- Construir pipelines de dados para treinamento, avaliação e monitoramento de aplicações de IA;
- Implementar práticas de LLMOps e MLOps, garantindo escalabilidade, confiabilidade e eficiência operacional;
- Estruturar métricas, dashboards e indicadores para acompanhamento da performance dos produtos de IA;
- Analisar utilização, qualidade das respostas, custos de inferência e eficiência dos modelos;
- Identificar oportunidades de otimização de custos, considerando prompts, seleção de modelos, cache e estratégias de roteamento;
- Apoiar times multidisciplinares na definição e adoção de boas práticas de arquitetura para soluções GenAI;
- Atuar na evolução contínua da observabilidade, qualidade e performance das aplicações baseadas em LLMs.
- Experiência sólida como Analista de Dados Sênior, Data Scientist, ML Engineer ou em funções correlatas;
- Experiência prática em projetos de IA Generativa em ambiente corporativo;
- Conhecimento avançado em LiteLLM;
- Experiência com múltiplos provedores de LLM, como OpenAI, Azure OpenAI, Anthropic, Gemini ou similares;
- Experiência com LLMOps e MLOps;
- Domínio de Python aplicado a dados e soluções de IA;
- Experiência com APIs REST e integração de serviços de IA;
- Conhecimento em observabilidade, monitoramento e avaliação de aplicações baseadas em LLMs;
- Experiência com AWS, Azure ou Google Cloud Platform;
- Domínio de SQL e experiência com grandes volumes de dados;
- Experiência na construção de dashboards, métricas e análises para produtos digitais;
- Conhecimento de Git, CI/CD e versionamento de modelos e artefatos.