hugging-face-evaluation
Permite ao agente adicionar e gerenciar resultados de avaliação em modelos no Hugging Face. Ele pode extrair tabelas de avaliação e importar pontuações de APIs.
O que ela faz
Esta ferramenta ajuda a adicionar resultados de testes e avaliações em páginas de modelos no Hugging Face. Ela pode pegar tabelas de resultados que já estão no texto da página, importar dados de outras fontes ou até rodar novos testes.
Quando usar
- ✓Quando você quer mostrar os resultados de testes de um modelo de IA na página dele.
- ✓Se você tem resultados de testes em outro lugar e quer colocá-los na página do Hugging Face.
- ✓Para preparar informações para competições ou rankings de modelos de IA.
Exemplo do que pedir para a IA
“Adicione os resultados de avaliação do meu modelo à página dele no Hugging Face, pegando os dados da tabela no README.”
Quer saber mais? Abra as seções abaixo.
Como usar
O jeito mais fácil: copie a mensagem abaixo e cole no Claude, ChatGPT, Cursor ou outra IA. Ela lê a skill e segue as instruções.
Link da skill
Mensagem pronta para colar
Como funciona
A ferramenta procura por tabelas de resultados no texto da página do modelo. Ela também pode se conectar a outras fontes de dados ou usar programas específicos para rodar novos testes e adicionar os resultados de forma organizada.
Instalação
Jeito mais fácil: copie o link da skill e cole no Claude, ChatGPT ou Cursor pedindo para seguir as instruções.
No terminal (Claude Code, Codex, Cursor), na pasta do projeto:
npx skills add sickn33/agentic-awesome-skills --skill hugging-face-evaluationOu baixe só o arquivo:
curl -L https://raw.githubusercontent.com/sickn33/agentic-awesome-skills/main/plugins/agentic-awesome-skills-claude/skills/hugging-face-evaluation/SKILL.md -o SKILL.mdConteúdo técnico (SKILL.md)
Tradução do texto original do autor no GitHub. Os comandos e códigos estão como no original.
Visão Geral
Esta habilidade fornece ferramentas para adicionar resultados de avaliação estruturados aos cartões de modelo do Hugging Face. Ela suporta múltiplos métodos para adicionar dados de avaliação:
- Extrair tabelas de avaliação existentes do conteúdo do README
- Importar pontuações de benchmark da Análise Artificial
- Executar avaliações de modelo personalizadas com backends vLLM ou accelerate (lighteval/inspect-ai)
Guia Detalhado
Leia o guia detalhado antes de executar esta habilidade. Ele retém o procedimento completo e o material de referência. Trate seus requisitos de segurança, pré-requisitos e validação como obrigatórios. Para trabalho focado, carregue as seções relevantes; para trabalho de ponta a ponta, leia o guia completamente.
Quando Usar
- Você precisa adicionar resultados de avaliação estruturados a um cartão de modelo do Hugging Face.
- Você deseja importar dados de benchmark ou executar avaliações personalizadas com vLLM, lighteval ou inspect-ai.
- Você está preparando metadados
model-indexcompatíveis com o leaderboard para o lançamento de um modelo.
Limitações
- Use esta habilidade apenas quando a tarefa corresponder claramente ao escopo descrito acima.
- Não trate a saída como substituta para validação específica do ambiente, testes ou revisão especializada.
- Pare e peça esclarecimentos se os inputs necessários, permissões, limites de segurança ou critérios de sucesso estiverem ausentes.
Perguntas frequentes
O que é Hugging Face?
É um site popular onde pessoas compartilham e usam modelos de inteligência artificial.
O que são 'resultados de avaliação'?
São os resultados de testes que mostram o quão bem um modelo de IA funciona em diferentes tarefas.
O que é 'model-index metadata'?
É um formato especial de informação que ajuda a organizar e apresentar os dados de um modelo de IA, especialmente para rankings.
Detalhes
Descrição original do autor
Add and manage evaluation results in Hugging Face model cards. Supports extracting eval tables from README content, importing scores from Artificial Analysis API, and running custom model evaluations with vLLM/lighteval. Works with the model-index metadata format.
Popularidade
- Estrelas no GitHub
- 48 mil
- Posição no ranking
- #3222
- Licença
- MIT
- Atualizada em
- 15/10/2026
Comentários
- …
Mais skills deste repositório
00-andruia-consultant
Ajuda seu agente a iniciar ou melhorar projetos de IA. Ele analisa código, sugere ferramentas e cria planos de ação em espanhol.
sickn33/agentic-awesome-skills
007
Faz seu agente realizar auditorias de segurança e modelagem de ameaças. É útil para proteger projetos contra ataques e vulnerabilidades.
sickn33/agentic-awesome-skills
10-andruia-skill-smith
Ajuda seu agente a criar ou melhorar ferramentas de IA. Ele define como as ferramentas funcionam, escreve a documentação e valida a estrutura.
sickn33/agentic-awesome-skills
20-andruia-niche-intelligence
Faz seu agente criar um resumo sobre um setor específico. É útil para entender o contexto, regras, padrões de uso e riscos de um projeto, usando fontes confiáveis.
sickn33/agentic-awesome-skills
Skills parecidas
agent-architecture-audit
Faz seu agente verificar se tudo está funcionando corretamente. Ele encontra e conserta problemas em sistemas de IA, garantindo que funcionem como esperado.
affaan-m/ECC
agent-eval
Ajuda seu agente a comparar diferentes ferramentas de programação de IA. Ele mede qual é mais rápido, barato e confiável para realizar tarefas específicas.
affaan-m/ECC
agent-harness-construction
Faz seu agente entender melhor como realizar tarefas. Ele otimiza as ferramentas e instruções que o agente usa para aumentar suas chances de sucesso.
affaan-m/ECC