Analista de Testes Pleno

Você tem o desafio. A gente tem a solução.

Com mais de 20 anos de mercado, somos um dos principais players de recuperação de crédito e relacionamento do Brasil.

Chegamos pra alavancar as jornadas de negociação com humanização nas relações, digitalização e eficiência na recuperação de crédito.

Usamos dados para mudar o futuro, trazendo ofertas personalizadas no momento que o cliente mais precisa.

Integramos canais para que o atendimento seja por onde o consumidor mais usa e da forma mais simples possível.

Sem letras miúdas ou juridiquês. Aqui é ganha-ganha pro cliente e pra sua empresa.

Eficiência e humanização caminhando juntas, rumo à revolução.

Isso é Intervalor. E este é apenas o começo

Estamos buscando um QA Engineer especializado em testes de agentes conversacionais baseados em IA Generativa.

Esse profissional será responsável por garantir a qualidade, confiabilidade e consistência das respostas de agentes baseados em LLMs, estruturando estratégias de teste, automação de validação e monitoramento de comportamento dos agentes.

Essa pessoa trabalhará próximo de Prompt Engineers, especialistas de IA e analistas de dados, garantindo que os agentes evoluam de forma segura e confiável ao longo do tempo.

Diferente de testes tradicionais de software, este papel envolve validar comportamentos probabilísticos de modelos de linguagem, analisando aspectos como: Precisão das respostas; Consistência do comportamento; Alucinações; Aderência a políticas e guardrails; Qualidade da experiência conversacional

Essa pessoa irá:

Criar estratégias de testes para agentes conversacionais baseados em LLMs

Desenvolver cenários de teste para validação de comportamento do agente

Automatizar testes de prompts e respostas do modelo

Identificar alucinações, inconsistências e respostas inadequadas

Criar datasets de teste e suites de regressão

Validar aderência a guardrails e políticas de resposta

Participar da análise de qualidade antes de deploy de novas versões do agente

Trabalhar com times técnicos na correção e melhoria do comportamento do agente

Monitorar qualidade das respostas em produção

Você trabalhará com tecnologias como:

Large Language Models (LLMs)

Test automation frameworks

APIs e automação de testes

Ferramentas de análise de conversas

Test datasets

Pipelines de avaliação de IA

Ferramentas comuns incluem:

Python (desejável)

Frameworks de testes automatizados

Ferramentas de experimentação com LLMs

Ambientes de simulação de conversas

Requisitos e qualificações

Experiência em Quality Assurance ou Test Automation

Experiência em criação de cenários e planos de teste

Capacidade de estruturar testes sistemáticos para sistemas complexos

Experiência com APIs e testes automatizados

Experiência prática com ferramentas de IA como ChatGPT, Claude, Gemini

Perfil analítico e investigativo

Forte atenção a detalhes

Diferenciais fortes

Experiência com IA Generativa ou LLMs

Experiência com testes de chatbots ou voicebots

Conhecimento em NLP ou análise de texto

Experiência com automação de testes em Python

Experiência em Customer Experience ou Contact Centers

Experiência com testes de sistemas baseados em IA