Bolsista Mestre [LLM, Model Evaluation, Python, Prompt Engineering] ICT Itaú

Projeto de inovação do ICT Itaú em parceria com Inova Talentos

Pré-Requisitos:

• Formação: Mestre
• Cursos: Ciência da Computação, Engenharia da Computação, Sistemas de Informação, Ciência de Dados, Estatística, Matemática Aplicada, áreas correlatas à Computação, Inteligência Artificial, Machine Learning.

Atividades:

• Desenvolver e executar experimentos para descobrir novas formas de avaliação de Large Language Models (LLMs) e agentes, investigando métricas de qualidade, factualidade, segurança e aderência a requisitos específicos. Desenvolver pipelines experimentais de LLM-as-a-Judge, incluindo construção de prompts, rubricas e protocolos de avaliação automática para análise escalável de respostas geradas por modelos de IA, misturando conceitos de Reinforcement Learning e Preference Optimization.
• Investigar e aplicar técnicas de otimização por preferências e aprendizado por reforço para melhoria contínua de modelos de linguagem, analisando impactos em qualidade, robustez e alinhamento.
• Realizar análises quantitativas dos resultados experimentais, documentando descobertas, propondo melhorias metodológicas e contribuindo para a definição de boas práticas em avaliação e otimização de LLMs

Conhecimentos Necessários:

• Programação em Python.
• Conhecimento dos fundamentos de Machine Learning e Deep Learning.
• Familiaridade com Large Language Models (LLMs) e IA Generativa.
• Experiência com bibliotecas de desenvolvimento de modelos de IA (PyTorch e/ou Hugging Face Transformers).
• Capacidade de leitura e compreensão de artigos científicos em inglês.
• Conhecimentos básicos de experimentação, análise de resultados e avaliação de modelos.

Requisitos técnicos desejáveis/ diferencial:

• Experiência com LLM Evaluation / LLM-as-a-Judge.
• Experiência com RLHF, DPO ou otimização por preferências.
• Participação em pesquisa científica/publicações em IA ou Machine Learning.
• Experiência com Agentes de Código (claude code, copilot, codex e afins).

Informações adicionais:

• Disponibilidade: 40h semanais;
• Duração: 12 meses;
• Bolsa Auxílio: R$ 9.000,00
• Atuação: Remota
• Local da empresa: Bairro do Jabaquara, SP

Conheça o INOVA TALENTOS

https://vimeo.com/676464243/165a0bf5f5

https://vimeo.com/fabrikafilmes/review/680121344/b5b3c6e91d

(1344072096)

Requisitos