Avaliação Avançada

Esta habilidade abrange técnicas de nível de produção para avaliar saídas de LLM usando LLMs como juízes. Ela sintetiza pesquisas de artigos acadêmicos, práticas da indústria e experiência de implementação prática em padrões acionáveis para construir sistemas de avaliação confiáveis.

Insight chave: LLM-como-Juiz não é uma única técnica, mas uma família de abordagens, cada uma adequada a diferentes contextos de avaliação. Escolher a abordagem correta e mitigar vieses conhecidos é a competência central que esta habilidade desenvolve.

Quando Usar

Ative esta habilidade quando:

• Construir pipelines de avaliação automatizada para saídas de LLM
• Comparar múltiplas respostas de modelos para selecionar a melhor
• Estabelecer padrões de qualidade consistentes entre equipes de avaliação
• Depurar sistemas de avaliação que mostram resultados inconsistentes
• Projetar testes A/B para alterações de prompt ou modelo
• Criar rubricas para avaliação humana ou automatizada
• Analisar a correlação entre julgamentos automatizados e humanos

Conceitos Principais

A Taxonomia de Avaliação

As abordagens de avaliação se enquadram em duas categorias principais com perfis de confiabilidade distintos:

Pontuação Direta: Um único LLM avalia uma resposta em uma escala definida.

• Melhor para: Critérios objetivos (precisão factual, seguimento de instruções, toxicidade)
• Confiabilidade: Moderada a alta para critérios bem definidos
• Modo de falha: Derivação da calibração da pontuação, interpretação inconsistente da escala

Comparação Pareada: Um LLM compara duas respostas e seleciona a melhor.

• Melhor para: Preferências subjetivas (tom, estilo, persuasão)
• Confiabilidade: Maior que a pontuação direta para preferências
• Modo de falha: Viés de posição, viés de comprimento

Pesquisas do artigo MT-Bench (Zheng et al., 2023) estabelecem que a comparação pareada alcança maior concordância com juízes humanos do que a pontuação direta para avaliação baseada em preferência, enquanto a pontuação direta permanece apropriada para critérios objetivos com verdade fundamental clara.

O Cenário de Vieses

Juízes LLM exibem vieses sistemáticos que devem ser ativamente mitigados:

Viés de Posição: Respostas na primeira posição recebem tratamento preferencial na comparação pareada. Mitigação: Avaliar duas vezes com posições trocadas, usar voto majoritário ou verificação de consistência.

Viés de Comprimento: Respostas mais longas recebem pontuações mais altas, independentemente da qualidade. Mitigação: Prompt explícito para ignorar o comprimento, pontuação normalizada pelo comprimento.

Viés de Autoaprimoramento: Modelos avaliam suas próprias saídas mais alto. Mitigação: Usar modelos diferentes para geração e avaliação, ou reconhecer a limitação.

Viés de Verbosidade: Explicações detalhadas recebem pontuações mais altas, mesmo quando desnecessárias. Mitigação: Rubricas específicas de critérios que penalizam detalhes irrelevantes.

Viés de Autoridade: Tom confiante e autoritário é avaliado mais alto, independentemente da precisão. Mitigação: Exigir citação de evidências, camada de verificação de fatos.

Framework de Seleção de Métricas

Escolha métricas com base na estrutura da tarefa de avaliação:

O insight crítico: Alta concordância absoluta importa menos do que padrões sistemáticos de desacordo. Um juiz que discorda consistentemente de humanos em critérios específicos é mais problemático do que um com ruído aleatório.

Abordagens de Avaliação

Implementação de Pontuação Direta

A pontuação direta requer três componentes: critérios claros, uma escala calibrada e formato de saída estruturado.

Padrão de Definição de Critérios:

Criterion: [Name]
Description: [What this criterion measures]
Weight: [Relative importance, 0-1]

Calibração de Escala:

• Escalas de 1-3: Binária com opção neutra, menor carga cognitiva
• Escalas de 1-5: Likert padrão, bom equilíbrio entre granularidade e confiabilidade
• Escalas de 1-10: Alta granularidade, mas mais difícil de calibrar, use apenas com rubricas detalhadas

Estrutura de Prompt para Pontuação Direta:

Você é um avaliador especialista avaliando a qualidade da resposta.

## Tarefa
Avalie a seguinte resposta em relação a cada critério.

## Prompt Original
{prompt}

## Resposta a Avaliar
{response}

## Critérios
{para cada critério: nome, descrição, peso}

## Instruções
Para cada critério:
1. Encontre evidências específicas na resposta

…