Visão Geral

Quando Usar

Use esta skill quando precisar executar avaliações para modelos do Hugging Face Hub usando inspect-ai e lighteval em hardware local. Use para seleção de backend, avaliações em GPU local e para escolher entre vLLM / Transformers / accelerate. Não use para orquestração de Hugging Face Jobs, PRs de model-card, publicação de .eval_results ou community-evals...

Esta skill serve para executar avaliações em modelos no Hugging Face Hub em hardware local.

Ela abrange:

• inspect-ai com inferência local
• lighteval com inferência local
• escolha entre vllm, Hugging Face Transformers e accelerate
• testes rápidos (smoke tests), seleção de tarefas e estratégia de fallback de backend

Ela não abrange:

• Orquestração de Hugging Face Jobs
• Edições de model-card ou model-index
• Extração de tabelas de README
• Importações de Análise Artificial
• Geração ou publicação de .eval_results
• Automação de criação de PR ou community-evals

Se o usuário quiser executar a mesma avaliação remotamente em Hugging Face Jobs, passe para a skill hugging-face-jobs e forneça um dos scripts locais desta skill.

Se o usuário quiser publicar resultados no fluxo de trabalho de community-evals, pare após gerar a execução da avaliação e passe essa etapa de publicação para ~/code/community-evals.

Todos os caminhos abaixo são relativos ao diretório que contém este SKILL.md.

Quando Usar Qual Script

Pré-requisitos

• Prefira uv run para execução local.
• Configure HF_TOKEN para modelos restritos/privados.
• Para execuções em GPU local, verifique o acesso à GPU antes de começar:

uv --version
printenv HF_TOKEN >/dev/null
nvidia-smi

Se nvidia-smi não estiver disponível, então:

• use scripts/inspect_eval_uv.py para avaliação mais leve com suporte de provedor, ou
• passe para a skill hugging-face-jobs se o usuário quiser computação remota.

Fluxo de Trabalho Principal

1. Escolha o framework de avaliação.
   • Use inspect-ai quando quiser controle explícito de tarefas e fluxos nativos do inspect.
   • Use lighteval quando o benchmark for naturalmente expresso como uma string de tarefa do lighteval, especialmente tarefas no estilo de leaderboard.
2. Escolha o backend de inferência.
   • Prefira vllm para throughput em arquiteturas suportadas.
   • Use Hugging Face Transformers (--backend hf) ou accelerate como fallbacks de compatibilidade.
3. Comece com um teste rápido (smoke test).
   • inspect-ai: adicione --limit 10 ou similar.
   • lighteval: adicione --max-samples 10.
4. Aumente a escala somente após o teste rápido ser aprovado.
5. Se o usuário quiser execução remota, passe para hugging-face-jobs com o mesmo script + argumentos.

Início Rápido

Opção A: inspect-ai com caminho de provedores de inferência local

Melhor quando o modelo já é suportado pelos Provedores de Inferência do Hugging Face e você quer a menor sobrecarga de configuração local.

uv run scripts/inspect_eval_uv.py \
  --model meta-llama/Llama-3.2-1B \
  --task mmlu \
  --limit 20

Use este caminho quando:

• você quer um teste rápido local (smoke test)
• você não precisa de controle direto da GPU
• a tarefa já existe em inspect-evals

Opção B: inspect-ai em GPU Local

Melhor quando você precisa carregar o modelo do Hub diretamente, usar vllm, ou usar Transformers como fallback para arquiteturas não suportadas.

GPU Local:

uv run scripts/inspect_vllm_uv.py \
  --model meta-llama/Llama-3.2-1B \
  --task gsm8k \
  --limit 20

Fallback com Transformers:

uv run scripts/inspect_vllm_uv.py \
  --model microsoft/phi-2 \
  --task mmlu \
  --backend hf \
  --trust-remote-code \
  --limit 20

Opção C: lighteval em GPU Local

Melhor quando a tarefa é naturalmente expressa como uma string de tarefa lighteval, especialmente benchmarks no estilo Open LLM Leaderboard.

GPU Local:

uv run scripts/lighteval_vllm_uv.py \
  --model meta-llama/Llama-3.2-3B-Instruct \
  --tasks "leaderboard|mmlu|5,leaderboard|gsm8k|5" \
  --max-samples 20 \
  --use-chat-template

Fallback com accelerate:

uv run scripts/lighteval_vllm_uv.py \
  --model microsoft/phi-2 \
  --tasks "leaderboard|mmlu|5" \
  --backend accelerate \
  --trust-remote-code \
  --max-samples 20

Limite de Execução Remota

Esta skill intencionalmente para em execução local e seleção de backend.

Se o usuário quiser:

…