Quando Usar

• Use quando este fluxo de trabalho upstream corresponder ao objetivo declarado do usuário.
• Use quando a tarefa exigir os procedimentos documentados nesta habilidade.

Visão Geral

Esta habilidade é para executar avaliações em modelos no Hugging Face Hub em hardware local.

Ela cobre:

• inspect-ai com inferência local
• lighteval com inferência local
• escolher entre vllm, Hugging Face Transformers e accelerate
• testes de fumaça (smoke tests), seleção de tarefas e estratégia de fallback de backend

Ela não cobre:

• Orquestração de Hugging Face Jobs
• Edições de model-card ou model-index
• Extração de tabelas de README
• Importações de Análise Artificial
• Geração ou publicação de .eval_results
• Criação de PR ou automação de community-evals

Se o usuário quiser executar a mesma avaliação remotamente em Hugging Face Jobs, passe para a habilidade hugging-face-jobs e forneça um dos scripts locais desta habilidade.

Se o usuário quiser publicar resultados no fluxo de trabalho de avaliações da comunidade, pare após gerar a execução da avaliação e passe essa etapa de publicação para ~/code/community-evals.

Todos os caminhos abaixo são relativos ao diretório que contém este SKILL.md.

Quando Usar Cada Script

Pré-requisitos

• Prefira uv run para execução local.
• Configure HF_TOKEN para modelos restritos/privados.
• Para execuções de GPU local, verifique o acesso à GPU antes de começar:

uv --version
printenv HF_TOKEN >/dev/null
nvidia-smi

Se nvidia-smi não estiver disponível, então:

• use scripts/inspect_eval_uv.py para avaliação mais leve com suporte de provedor, ou
• passe para a habilidade hugging-face-jobs se o usuário quiser computação remota.

Fluxo de Trabalho Principal

1. Escolha o framework de avaliação.
   • Use inspect-ai quando quiser controle explícito de tarefas e fluxos nativos de inspeção.
   • Use lighteval quando o benchmark for naturalmente expresso como uma string de tarefa lighteval, especialmente tarefas de estilo de leaderboard.
2. Escolha o backend de inferência.
   • Prefira vllm para throughput em arquiteturas suportadas.
   • Use Hugging Face Transformers (--backend hf) ou accelerate como fallbacks de compatibilidade.
3. Comece com um teste de fumaça (smoke test).
   • inspect-ai: adicione --limit 10 ou similar.
   • lighteval: adicione --max-samples 10.
4. Aumente a escala apenas após o teste de fumaça ser aprovado.
5. Se o usuário quiser execução remota, passe para hugging-face-jobs com o mesmo script + argumentos.

Início Rápido

Opção A: inspect-ai com caminho de provedores de inferência local

Melhor quando o modelo já é suportado pelos Provedores de Inferência Hugging Face e você deseja a menor sobrecarga de configuração local.

uv run scripts/inspect_eval_uv.py \
  --model meta-llama/Llama-3.2-1B \
  --task mmlu \
  --limit 20

Use este caminho quando:

• você quiser um teste de fumaça local rápido
• você não precisar de controle direto da GPU
• a tarefa já existir em inspect-evals

Opção B: inspect-ai em GPU Local

Melhor quando você precisa carregar o modelo do Hub diretamente, usar vllm ou fazer fallback para Transformers para arquiteturas não suportadas.

GPU Local:

uv run scripts/inspect_vllm_uv.py \
  --model meta-llama/Llama-3.2-1B \
  --task gsm8k \
  --limit 20

Fallback de Transformers:

uv run scripts/inspect_vllm_uv.py \
  --model microsoft/phi-2 \
  --task mmlu \
  --backend hf \
  --trust-remote-code \
  --limit 20

Opção C: lighteval em GPU Local

Melhor quando a tarefa é naturalmente expressa como uma string de tarefa lighteval, especialmente benchmarks no estilo Open LLM Leaderboard.

GPU Local:

uv run scripts/lighteval_vllm_uv.py \
  --model meta-llama/Llama-3.2-3B-Instruct \
  --tasks "leaderboard|mmlu|5,leaderboard|gsm8k|5" \
  --max-samples 20 \
  --use-chat-template

Fallback de accelerate:

uv run scripts/lighteval_vllm_uv.py \
  --model microsoft/phi-2 \
  --tasks "leaderboard|mmlu|5" \
  --backend accelerate \
  --trust-remote-code \
  --max-samples 20

Limite de Execução Remota

Esta habilidade intencionalmente para em execução local e seleção de backend.

Se o usuário quiser:

• executar esses scripts em Hugging Face Jobs
• escolher hardware remoto
• passar segredos para trabalhos remotos
• agendar execuções recorrentes
• inspecionar / cancelar / monitorar trabalhos

…