Relatório de Avaliação de Agentes

Visão Geral

Transforme execuções brutas de avaliação de agentes em um relatório pronto para decisão, sem ocultar falhas ou superestimar a capacidade. Mantenha as populações de resultados, denominadores, populações de latência e condições experimentais explícitas para que os leitores possam reproduzir todos os números principais.

Quando Usar Esta Habilidade

• Use ao relatar execuções de avaliação de benchmark, regressão, piloto ou produção para um agente de IA.
• Use quando conclusões autônomas e assistidas por humanos aparecerem no mesmo conjunto de resultados.
• Use quando falhas, timeouts, execuções inválidas de infraestrutura, novas tentativas ou resultados parciais afetarem o denominador.
• Use ao comparar dois agentes, prompts, harnesses ou releases e decidir se a comparação é válida.

Como Funciona

Etapa 1: Congelar o contrato de comparação

Registre o conjunto de tarefas e amostragem, modelo e provedor, versão do prompt ou política, versões da ferramenta e harness, rubrica do avaliador, política de timeout e nova tentativa, orçamento de tokens ou custo, ambiente e política de intervenção humana. Atribua à configuração um rótulo estável ou digest.

Se uma condição material diferir entre as execuções, marque a comparação como não equivalente. Relate apenas uma observação direcional; não afirme que o agente alterado causou a diferença.

Etapa 2: Construir um livro-razão de resultados mutuamente exclusivos

Classifique cada tentativa agendada exatamente uma vez:

Preserve o ID da tentativa, ID ou semente da tarefa, índice de nova tentativa, ID da tentativa pai, rótulo da configuração, resultado, contagem de intervenções, duração, custo, evidência do avaliador e motivo da invalidez quando disponíveis. Nunca omita silenciosamente execuções inválidas ou retentadas.

Construa também um resumo de tarefas únicas. Para cada tarefa, retenha o resultado da primeira tentativa e derive um resultado final após a conclusão da política de nova tentativa pré-declarada. Uma tentativa de execução pode contribuir uma vez para métricas de nível de tentativa, mas uma tarefa pode contribuir apenas uma vez para métricas de conclusão de nível de tarefa. Se a linhagem de nova tentativa ou a política de nova tentativa estiverem ausentes, não relate a conclusão eventual da tarefa.

Etapa 3: Bloquear cada métrica a um denominador

Seja N_all todas as tentativas de execução, incluindo novas tentativas, e N_eval = N_all - N_invalid tentativas avaliáveis. Seja T_all tarefas agendadas únicas e T_eval tarefas com um resultado de nível de tarefa válido sob a política de nova tentativa fixa. Relate as contagens ao lado de cada taxa.

autonomous attempt success = N_autonomous / N_eval
assisted attempt success   = N_assisted / N_eval
attempt non-completion     = (N_failure + N_timeout) / N_eval
invalid-attempt rate       = N_invalid / N_all
first-attempt completion   = T_first_attempt_completed / T_all
eventual task completion   = T_eventual_completed / T_eval
operational task delivery  = T_eventual_completed / T_all

Rotule explicitamente as métricas de nível de tentativa e de tarefa única; nunca chame uma taxa de nível de tentativa de conclusão de fluxo de trabalho. Relate a taxa de novas tentativas e as tentativas por tarefa para que os ganhos dependentes da política permaneçam visíveis. Verifique se os resultados das tentativas avaliáveis somam N_eval, todos os resultados das tentativas somam N_all e o resumo das tarefas soma T_all.

Se N_eval == 0, relate cada taxa de capacidade de tentativa como unavailable em vez de dividir por zero, e marque qualquer portão que dependa dessas taxas inconclusive. Aplique a mesma regra a qualquer métrica cujo denominador seja zero, incluindo taxas de nível de tarefa quando T_all == 0 ou T_eval == 0.

Etapa 4: Mantenha a latência e as populações de custo honestas

Relate separadamente a latência de conclusão autônoma, a latência ponta a ponta assistida e o tempo até o terminal de falha. Um P50 apenas de sucesso não é um P50 geral, e medianas de subgrupos não podem ser calculadas ou ponderadas para reconstruir uma mediana combinada.

Calcule um percentil de todas as execuções apenas a partir de observações por execução e declare como os timeouts são tratados. Se as durações forem censuradas à direita, relate a política de censura ou use uma estimativa de sobrevivência apropriada. Aplique os mesmos rótulos de população às métricas de token e custo.

Etapa 5: Quantificar a incerteza e a comparabilidade

…