Metodologia de avaliação

O PluginEval pontua uma habilidade ou plugin de 0 a 100 combinando até três camadas. A camada estática é um lint. É rápida e determinística, e é útil para verificar a estrutura. As camadas de juiz LLM e Monte Carlo são experimentais, não validadas contra rótulos humanos, então trate seus números como sinais aproximados. Para o programa de avaliação baseado em rastreamento, veja evals/README.md na raiz do repositório.

As âncoras da rubrica do juiz estão em references/rubrics.md. Correções para cada anti-padrão e dicas para cada dimensão estão em references/improving-scores.md.

Profundidades de avaliação

O rótulo nomeia a profundidade que foi executada, não uma verificação contra o julgamento humano. Um diretório de plugin recebe apenas a camada estática, qualquer que seja a profundidade solicitada.

Camada estática (lint)

A camada estática lê o SKILL.md e não faz chamadas de modelo. Ela calcula sete subpontuações, e as seis primeiras alimentam dimensões compostas:

• frontmatter_quality (alimenta triggering_accuracy)
• orchestration_wiring (alimenta orchestration_fitness)
• progressive_disclosure, structural_completeness, token_efficiency, ecosystem_coherence
• harness_portability

harness_portability não se mapeia a nenhuma dimensão, então não altera a pontuação composta de uma habilidade. Ela carrega 6% da própria pontuação da camada estática. A pontuação de um plugin é construída a partir dessa pontuação de camada, então descobertas de portabilidade podem diminuir um pouco a pontuação de um plugin. Suas descobertas não são contadas como anti-padrões.

A camada estática sinaliza seis anti-padrões: OVER_CONSTRAINED, EMPTY_DESCRIPTION, MISSING_TRIGGER, BLOATED_SKILL, ORPHAN_REFERENCE e DEAD_CROSS_REF. Cada sinalização corta a pontuação em 5%, até um piso de 50%:

penalty = max(0.5, 1.0 - 0.05 * anti_pattern_count)

O relatório imprime uma severidade para cada sinalização, mas a penalidade conta as sinalizações e ignora a severidade.

Camada de juiz LLM (experimental)

A camada de juiz faz quatro chamadas de modelo e retorna quatro pontuações holísticas de 0 a 1:

• triggering_accuracy: Haiku lê a descrição e escreve 10 prompts de teste, 5 que devem acionar e 5 que não devem. Ele prevê o resultado para cada prompt e relata seu próprio F1. Nada verifica essas previsões contra o acionamento real.
• orchestration_fitness e scope_calibration: Sonnet avalia a habilidade em uma rubrica de cinco pontos.
• output_quality: Sonnet imagina três tarefas e avalia a saída que ele espera.

As três chamadas do Sonnet veem apenas os primeiros 3.000 caracteres do SKILL.md. Apenas um juiz é executado, porque nada lê a configuração judges.

Camada Monte Carlo (experimental)

Haiku escreve 15 prompts que devem acionar a habilidade, e a camada os repete para atingir 50 execuções (100 em thorough). Cada execução envia o texto do SKILL.md e um prompt para o modelo, e a camada registra quatro medidas:

• Taxa de ativação é a proporção de execuções com qualquer resposta não vazia, então mostra se o modelo respondeu, não se a habilidade deveria ter disparado.
• Qualidade da saída é o comprimento da resposta dividido por 500, limitado a 1,0.
• Taxa de falha é a proporção de execuções que deram erro.
• Eficiência de token é 1 - median_tokens / 8000.

Cada prompt é um que deveria acionar, então a camada nunca verifica se a habilidade permanece fora de solicitações não relacionadas. O JSON da camada inclui intervalos de Wilson, bootstrap e Clopper-Pearson para suas próprias medidas. Os campos compostos ci_lower e ci_upper são sempre nulos.

Pontuação composta

Primeiro, para cada dimensão, o motor combina as pontuações das camadas existentes e renormaliza os pesos da combinação sobre essas camadas. Segundo, ele soma as pontuações das dimensões ponderadas e renormaliza os pesos das dimensões sobre as dimensões que têm uma pontuação. Terceiro, ele multiplica a soma por 100 e pela penalidade de anti-padrão.

…