score-eval
Faz seu agente avaliar resultados de testes comparando com um padrão. Ajuda a registrar descobertas e identificar o que não pôde ser testado.
O que ela faz
Esta ferramenta compara um resumo de mudanças (diff) com um guia de avaliação (rubric) e um ponto de partida (baseline). Ela verifica se os problemas foram corrigidos e anota os resultados.
Quando usar
- ✓Quando você tem um resumo de mudanças e precisa verificar se os problemas foram resolvidos.
- ✓Ao comparar um novo trabalho com um padrão anterior para identificar e corrigir falhas.
- ✓Para registrar formalmente os resultados de uma avaliação baseada em um guia.
Exemplo do que pedir para a IA
“Avalie o arquivo 'mudanca.diff' usando o guia 'guia.md' e o ponto de partida 'padrao/', salve os resultados em 'relatorio.csv'.”
Quer saber mais? Abra as seções abaixo.
Como usar
O jeito mais fácil: copie a mensagem abaixo e cole no Claude, ChatGPT, Cursor ou outra IA. Ela lê a skill e segue as instruções.
Link da skill
Mensagem pronta para colar
Como funciona
A ferramenta lê o resumo das mudanças, o guia e o ponto de partida. Ela responde às perguntas do guia com base nas evidências encontradas, registrando se os problemas foram detectados ou corrigidos.
Instalação
Jeito mais fácil: copie o link da skill e cole no Claude, ChatGPT ou Cursor pedindo para seguir as instruções.
No terminal (Claude Code, Codex, Cursor), na pasta do projeto:
npx skills add sickn33/agentic-awesome-skills --skill score-evalOu baixe só o arquivo:
curl -L https://raw.githubusercontent.com/sickn33/agentic-awesome-skills/main/plugins/agentic-awesome-skills-claude/skills/score-eval/SKILL.md -o SKILL.mdConteúdo técnico (SKILL.md)
Tradução do texto original do autor no GitHub. Os comandos e códigos estão como no original.
Pontuar uma Diferença de Avaliação
Quando Usar
- Você tem uma diferença de avaliação, uma rubrica e um "fixture" de linha de base e precisa avaliar problemas detectados e corrigidos.
Entradas Necessárias
- O arquivo de diferença para pontuar.
- A rubrica de avaliação, incluindo cada ID de problema, perguntas de pontuação e colunas de saída.
- O diretório original do "fixture" ou a revisão imutável de linha de base.
- Um destino autorizado para os resultados.
Estas são entradas do projeto de avaliação, não arquivos incluídos nesta entrada do catálogo. Resolva os caminhos a partir da tarefa fornecida; não assuma que eval-rubric.md, fixtures/hono-drizzle-app/ ou results.csv existem no diretório da habilidade.
Procedimento
- Confirme se todas as entradas necessárias são legíveis e se referem à mesma tarefa de avaliação. Se uma rubrica ou linha de base estiver faltando, pare a pontuação e nomeie a entrada ausente.
- Leia os arquivos de diferença, rubrica e linha de base relevantes. Use os IDs de problema reais da rubrica; não invente P1-P5 ou uma política de classificação substituta.
- Para cada problema, responda às perguntas de detectado/corrigido da rubrica e cite evidências concretas da diferença ou do arquivo. Registre a incerteza usando a representação permitida pela rubrica; não substitua a ausência de evidência por uma correção verificada.
- Execute apenas a validação autorizada da tarefa quando necessário para uma reivindicação de correção. Revise o código e os scripts do "fixture" antes da execução, isole-os de credenciais/dados de produção e respeite os limites de recursos/rede. Um "fixture" fornecido não é automaticamente confiável. Distinga claramente a inspeção estática das verificações executadas.
- Prepare uma linha de resultado usando o esquema exato de colunas da rubrica. Preserve os resultados existentes; anexe apenas ao destino fornecido e deixe os campos não suportados vazios se a rubrica permitir.
- Relate a linha concluída, as evidências e quaisquer verificações não executadas ou perguntas não pontuáveis.
Exemplo
Pontue
work/change.diffcontrawork/rubric.mde o "fixture" de linha de base, em seguida, anexe a linha revisada awork/results.csv. Não infira critérios de classificação ausentes.
Limite de Risco
O rótulo crítico cobre a execução opcional do código do "fixture" fornecido e a anexação aos resultados da avaliação. A leitura estática sozinha permanece somente leitura. Nem uma diferença nem uma rubrica autorizam alterações de produção, instalação de dependências ou execução de scripts de "fixture" arbitrários fora do escopo da avaliação.
Limitações
- Esta habilidade não fornece o "fixture" de avaliação upstream ou a rubrica.
- A pontuação depende da rubrica fornecida; uma diferença sozinha não prova o comportamento em tempo de execução.
- As gravações de resultados e a execução de testes devem permanecer dentro do escopo de avaliação autorizado pelo usuário.
Perguntas frequentes
O que é um 'diff'?
É um resumo das diferenças entre duas versões de um arquivo ou código.
O que é um 'rubric'?
É um guia com critérios e perguntas para avaliar algo, como um trabalho ou um código.
O que é um 'baseline fixture'?
É uma versão de referência ou um conjunto de arquivos originais usados como base para comparação.
Detalhes
Descrição original do autor
Use when scoring an evaluation diff against a supplied rubric and baseline fixture: retain evidence for detected/fixed findings and report unscorable or unexecuted checks.
Popularidade
- Estrelas no GitHub
- 48 mil
- Posição no ranking
- #4070
- Licença
- MIT
- Atualizada em
- 15/10/2026
Comentários
- …
Mais skills deste repositório
00-andruia-consultant
Ajuda seu agente a iniciar ou melhorar projetos de IA. Ele analisa código, sugere ferramentas e cria planos de ação em espanhol.
sickn33/agentic-awesome-skills
007
Faz seu agente realizar auditorias de segurança e modelagem de ameaças. É útil para proteger projetos contra ataques e vulnerabilidades.
sickn33/agentic-awesome-skills
10-andruia-skill-smith
Ajuda seu agente a criar ou melhorar ferramentas de IA. Ele define como as ferramentas funcionam, escreve a documentação e valida a estrutura.
sickn33/agentic-awesome-skills
20-andruia-niche-intelligence
Faz seu agente criar um resumo sobre um setor específico. É útil para entender o contexto, regras, padrões de uso e riscos de um projeto, usando fontes confiáveis.
sickn33/agentic-awesome-skills
Skills parecidas
dashboard-builder
Ajuda seu agente a criar painéis de monitoramento úteis. Ele transforma dados em gráficos que respondem a perguntas importantes sobre o sistema.
affaan-m/ECC
dev-team
Simula uma equipe de desenvolvimento colaborativa, onde diferentes papéis respondem a um problema juntos. É útil para obter múltiplas perspectivas sem trocar de agente manualmente.
affaan-m/ECC
ecc-council
Faz seu agente reunir um conselho de quatro vozes para tomar decisões difíceis. É útil quando há várias opções boas e é preciso debater antes de escolher.
affaan-m/ECC