Pular para o conteúdo
Skillpedia
Diversos48 mil · #4070

score-eval

Faz seu agente avaliar resultados de testes comparando com um padrão. Ajuda a registrar descobertas e identificar o que não pôde ser testado.

O que ela faz

Esta ferramenta compara um resumo de mudanças (diff) com um guia de avaliação (rubric) e um ponto de partida (baseline). Ela verifica se os problemas foram corrigidos e anota os resultados.

Quando usar

  • ✓Quando você tem um resumo de mudanças e precisa verificar se os problemas foram resolvidos.
  • ✓Ao comparar um novo trabalho com um padrão anterior para identificar e corrigir falhas.
  • ✓Para registrar formalmente os resultados de uma avaliação baseada em um guia.

Exemplo do que pedir para a IA

“Avalie o arquivo 'mudanca.diff' usando o guia 'guia.md' e o ponto de partida 'padrao/', salve os resultados em 'relatorio.csv'.”

Quer saber mais? Abra as seções abaixo.

Como usar

O jeito mais fácil: copie a mensagem abaixo e cole no Claude, ChatGPT, Cursor ou outra IA. Ela lê a skill e segue as instruções.

Link da skill

https://github.com/sickn33/agentic-awesome-skills/blob/main/plugins/agentic-awesome-skills-claude/skills/score-eval/SKILL.md

Mensagem pronta para colar

Use esta skill para me ajudar: https://github.com/sickn33/agentic-awesome-skills/blob/main/plugins/agentic-awesome-skills-claude/skills/score-eval/SKILL.md Leia o arquivo SKILL.md desse link e siga as instruções dele na minha tarefa.
Como funciona

A ferramenta lê o resumo das mudanças, o guia e o ponto de partida. Ela responde às perguntas do guia com base nas evidências encontradas, registrando se os problemas foram detectados ou corrigidos.

Instalação

Jeito mais fácil: copie o link da skill e cole no Claude, ChatGPT ou Cursor pedindo para seguir as instruções.

No terminal (Claude Code, Codex, Cursor), na pasta do projeto:

npx skills add sickn33/agentic-awesome-skills --skill score-eval

Ou baixe só o arquivo:

curl -L https://raw.githubusercontent.com/sickn33/agentic-awesome-skills/main/plugins/agentic-awesome-skills-claude/skills/score-eval/SKILL.md -o SKILL.md
Conteúdo técnico (SKILL.md)

Tradução do texto original do autor no GitHub. Os comandos e códigos estão como no original.

Pontuar uma Diferença de Avaliação

Quando Usar

  • Você tem uma diferença de avaliação, uma rubrica e um "fixture" de linha de base e precisa avaliar problemas detectados e corrigidos.

Entradas Necessárias

  • O arquivo de diferença para pontuar.
  • A rubrica de avaliação, incluindo cada ID de problema, perguntas de pontuação e colunas de saída.
  • O diretório original do "fixture" ou a revisão imutável de linha de base.
  • Um destino autorizado para os resultados.

Estas são entradas do projeto de avaliação, não arquivos incluídos nesta entrada do catálogo. Resolva os caminhos a partir da tarefa fornecida; não assuma que eval-rubric.md, fixtures/hono-drizzle-app/ ou results.csv existem no diretório da habilidade.

Procedimento

  1. Confirme se todas as entradas necessárias são legíveis e se referem à mesma tarefa de avaliação. Se uma rubrica ou linha de base estiver faltando, pare a pontuação e nomeie a entrada ausente.
  2. Leia os arquivos de diferença, rubrica e linha de base relevantes. Use os IDs de problema reais da rubrica; não invente P1-P5 ou uma política de classificação substituta.
  3. Para cada problema, responda às perguntas de detectado/corrigido da rubrica e cite evidências concretas da diferença ou do arquivo. Registre a incerteza usando a representação permitida pela rubrica; não substitua a ausência de evidência por uma correção verificada.
  4. Execute apenas a validação autorizada da tarefa quando necessário para uma reivindicação de correção. Revise o código e os scripts do "fixture" antes da execução, isole-os de credenciais/dados de produção e respeite os limites de recursos/rede. Um "fixture" fornecido não é automaticamente confiável. Distinga claramente a inspeção estática das verificações executadas.
  5. Prepare uma linha de resultado usando o esquema exato de colunas da rubrica. Preserve os resultados existentes; anexe apenas ao destino fornecido e deixe os campos não suportados vazios se a rubrica permitir.
  6. Relate a linha concluída, as evidências e quaisquer verificações não executadas ou perguntas não pontuáveis.

Exemplo

Pontue work/change.diff contra work/rubric.md e o "fixture" de linha de base, em seguida, anexe a linha revisada a work/results.csv. Não infira critérios de classificação ausentes.

Limite de Risco

O rótulo crítico cobre a execução opcional do código do "fixture" fornecido e a anexação aos resultados da avaliação. A leitura estática sozinha permanece somente leitura. Nem uma diferença nem uma rubrica autorizam alterações de produção, instalação de dependências ou execução de scripts de "fixture" arbitrários fora do escopo da avaliação.

Limitações

  • Esta habilidade não fornece o "fixture" de avaliação upstream ou a rubrica.
  • A pontuação depende da rubrica fornecida; uma diferença sozinha não prova o comportamento em tempo de execução.
  • As gravações de resultados e a execução de testes devem permanecer dentro do escopo de avaliação autorizado pelo usuário.
Perguntas frequentes

O que é um 'diff'?

É um resumo das diferenças entre duas versões de um arquivo ou código.

O que é um 'rubric'?

É um guia com critérios e perguntas para avaliar algo, como um trabalho ou um código.

O que é um 'baseline fixture'?

É uma versão de referência ou um conjunto de arquivos originais usados como base para comparação.

Detalhes

Descrição original do autor

Use when scoring an evaluation diff against a supplied rubric and baseline fixture: retain evidence for detected/fixed findings and report unscorable or unexecuted checks.

repo: sickn33/agentic-awesome-skills

Popularidade

Estrelas no GitHub
48 mil
Posição no ranking
#4070
Licença
MIT
Atualizada em
15/10/2026

Essa skill é útil?

0

Entre para votar.

Comentários

  • …

Mais skills deste repositório

Skills parecidas