Quando Usar Esta Habilidade

Construir frameworks de avaliação para sistemas de agentes

Use esta habilidade ao trabalhar com frameworks de avaliação para sistemas de agentes.

Métodos de Avaliação para Sistemas de Agentes

A avaliação de sistemas de agentes requer abordagens diferentes do software tradicional ou mesmo de aplicações de modelos de linguagem padrão. Agentes tomam decisões dinâmicas, são não determinísticos entre execuções e frequentemente não possuem respostas únicas e corretas. Uma avaliação eficaz deve considerar essas características enquanto fornece feedback acionável. Um framework de avaliação robusto permite a melhoria contínua, detecta regressões e valida que as escolhas de engenharia de contexto atingem os efeitos pretendidos.

Quando Usar

Ative esta habilidade quando:

• Testar o desempenho do agente sistematicamente
• Validar escolhas de engenharia de contexto
• Medir melhorias ao longo do tempo
• Detectar regressões antes da implantação
• Construir portões de qualidade para pipelines de agentes
• Comparar diferentes configurações de agentes
• Avaliar sistemas de produção continuamente

Conceitos Principais

A avaliação de agentes requer abordagens focadas em resultados que considerem a não determinismo e múltiplos caminhos válidos. Rubricas multidimensionais capturam vários aspectos de qualidade: precisão factual, completude, precisão de citação, qualidade da fonte e eficiência de ferramentas. LLM-como-juiz fornece avaliação escalável enquanto a avaliação humana captura casos extremos.

A percepção chave é que os agentes podem encontrar caminhos alternativos para atingir objetivos — a avaliação deve julgar se eles atingem os resultados corretos enquanto seguem processos razoáveis.

Drivers de Desempenho: A Descoberta dos 95% Pesquisas sobre a avaliação BrowseComp (que testa a capacidade de agentes de navegação em localizar informações difíceis de encontrar) descobriram que três fatores explicam 95% da variância de desempenho:

Essa descoberta tem implicações significativas para o design da avaliação:

• Orçamentos de tokens importam: Avalie agentes com orçamentos de tokens realistas, não recursos ilimitados
• Upgrades de modelo superam aumentos de tokens: Atualizar para Claude Sonnet 4.5 ou GPT-5.2 oferece ganhos maiores do que dobrar os orçamentos de tokens em versões anteriores
• Validação multiagente: A descoberta valida arquiteturas que distribuem o trabalho entre agentes com janelas de contexto separadas

Tópicos Detalhados

Desafios de Avaliação

Não Determinismo e Múltiplos Caminhos Válidos Agentes podem seguir caminhos válidos completamente diferentes para atingir objetivos. Um agente pode pesquisar três fontes enquanto outro pesquisa dez. Eles podem usar ferramentas diferentes para encontrar a mesma resposta. Avaliações tradicionais que verificam passos específicos falham nesse contexto.

A solução é uma avaliação focada em resultados que julga se os agentes atingem os resultados corretos enquanto seguem processos razoáveis.

Falhas Dependentes de Contexto Falhas de agentes frequentemente dependem do contexto de maneiras sutis. Um agente pode ter sucesso em consultas simples, mas falhar em consultas complexas. Ele pode funcionar bem com um conjunto de ferramentas, mas falhar com outro. Falhas podem surgir apenas após interações estendidas quando o contexto se acumula.

A avaliação deve cobrir uma variedade de níveis de complexidade e testar interações estendidas, não apenas consultas isoladas.

Dimensões de Qualidade Compostas A qualidade do agente não é uma dimensão única. Inclui precisão factual, completude, coerência, eficiência de ferramentas e qualidade do processo. Um agente pode ter uma pontuação alta em precisão, mas baixa em eficiência, ou vice-versa.

Rubricas de avaliação devem capturar múltiplas dimensões com ponderação apropriada para o caso de uso.

Design de Rubrica de Avaliação

Rubrica Multidimensional Rubricas eficazes cobrem dimensões chave com níveis descritivos:

Precisão factual: Declarações correspondem à verdade (excelente a falhou)

Completude: Saída cobre os aspectos solicitados (excelente a falhou)

Precisão da citação: Citações correspondem às fontes declaradas (excelente a falhou)

Qualidade da fonte: Usa fontes primárias apropriadas (excelente a falhou)

Eficiência de ferramentas: Usa as ferramentas corretas em um número razoável de vezes (excelente a falhou)

Pontuação da Rubrica Converta avaliações de dimensão em pontuações numéricas (0.0 a 1.0) com ponderação apropriada. Calcule pontuações gerais ponderadas. Determine o limiar de aprovação com base nos requisitos do caso de uso.

Metodologias de Avaliação

LLM-como-Juiz

…