HuggingFace Best Model Finder

Quando Usar

Use quando o usuário perguntar sobre encontrar o melhor modelo, o principal ou o recomendado para uma tarefa, quiser saber qual modelo de IA usar, ou quiser comparar modelos por pontuações de benchmark. Dispara com: "melhor modelo para X", "qual modelo devo usar para", "principais modelos para [tarefa]", "qual modelo roda no meu...

Encontra os melhores modelos para uma tarefa consultando as leaderboards oficiais de benchmark da HF, enriquecendo os resultados com dados de tamanho do modelo, filtrando o que cabe no dispositivo do usuário e retornando uma tabela de comparação com pontuações de benchmark.

Passo 1: Analisar a solicitação

Extrair da mensagem do usuário:

• Tarefa: o que eles querem que o modelo faça (codificação, matemática/raciocínio, chat, OCR, RAG/recuperação, reconhecimento de fala, classificação de imagem, multimodal, agentes, etc.)
• Dispositivo: restrições de hardware (MacBook série M com 8/16/32/64GB de memória unificada, GPU RTX com quantidade de VRAM, apenas CPU, nuvem/sem restrição, etc.)

Se o dispositivo não for mencionado, pule a filtragem completamente e retorne os modelos de maior desempenho, independentemente do tamanho. Se a tarefa for genuinamente ambígua, faça uma pergunta esclarecedora.

Dispositivo → orçamento máximo de parâmetros

Quando um dispositivo é especificado, extraia sua memória disponível (RAM unificada para Apple Silicon, VRAM para GPUs discretas) e aplique:

• parâmetros máximos fp16 (B) ≈ memória (GB) ÷ 2
• parâmetros máximos Q4 (B) ≈ memória (GB) × 2

Exemplos: 16GB → 8B fp16 / 32B Q4 — 24GB VRAM → 12B fp16 / 48B Q4 — 8GB → 4B fp16 / 16B Q4

Passo 2: Encontrar datasets de benchmark relevantes

Busque a lista completa de benchmarks oficiais da HF:

curl -s -H "Authorization: Bearer $(cat ~/.cache/huggingface/token)" \
  "https://huggingface.co/api/datasets?filter=benchmark:official&limit=500" | jq '[.[] | {id, tags, description}]'

Leia a lista retornada e selecione os datasets mais relevantes para a tarefa do usuário — combine por ID do dataset, tags e descrição. Use seu julgamento; não se limite a 2-3. Busque cobertura abrangente: se 5 benchmarks cobrirem claramente a tarefa, use todos os 5.

Passo 3: Buscar os principais modelos das leaderboards

Para cada dataset de benchmark selecionado:

curl -s -H "Authorization: Bearer $(cat ~/.cache/huggingface/token)" \
  "https://huggingface.co/api/datasets/<namespace>/<repo>/leaderboard" | jq '[.[:15] | .[] | {rank, modelId, value, verified}]'

Colete IDs de modelos e pontuações em todos os benchmarks. Se uma leaderboard retornar um erro (404, 401, etc.), pule-a e anote-a na saída.

Passo 4: Enriquecer com metadados do modelo

Para os 10-15 IDs de modelos candidatos principais, obtenha informações do modelo.

# REST API
curl -s -H "Authorization: Bearer $(cat ~/.cache/huggingface/token)" \
  "https://huggingface.co/api/models/org/model1" | jq '{safetensors, tags, cardData}'

# CLI (hf-cli)
hf models info org/model1 --json | jq '{safetensors, tags, cardData}'

Extraia de cada resposta:

• Parâmetros: safetensors.total → converta para B (ex: 7_241_748_480 → "7.2B")
• Licença: das tags do cartão do modelo (procure por license:apache-2.0, license:mit, etc.)
• Se safetensors estiver ausente, analise o tamanho a partir do nome do modelo (procure por "7b", "8b", "13b", "70b", "72b", etc.)

Passo 5: Filtrar e classificar

Se um dispositivo foi especificado:

1. Remova modelos que excedam o orçamento de parâmetros fp16 para o dispositivo
2. Sinalize modelos que cabem apenas com quantização Q4 (multiplique o orçamento por ~4 para a capacidade Q4)
3. Se um modelo bem classificado estiver ligeiramente acima do orçamento, mantenha-o com uma nota "precisa de Q4" — não o descarte silenciosamente

Se nenhum dispositivo foi mencionado: pule toda a filtragem de tamanho — apenas classifique por pontuação de benchmark.

Em seguida: classifique por pontuação de benchmark (decrescente), mantenha os 5-8 principais modelos.

Inclua modelos proprietários (GPT-4, Claude, Gemini) se eles aparecerem nas leaderboards, mas sinalize-os como "Apenas API / não auto-hospedável". Se o usuário explicitamente pediu apenas modelos locais/abertos, exclua-os.

Passo 6: Saída

Tabela de comparação

| # | Model | Params | [Benchmark 1] | [Benchmark 2] | License | On device |
|---|-------|--------|--------------|--------------|---------|-----------|
| ⭐1 | [org/name](https://huggingface.co/org/name) | 7B | 85.2% | — | Apache 2.0 | Yes (fp16) |
| 2 | [org/name](https://huggingface.co/org/name) | 13B | 83.1% | 71.5% | MIT | Q4 only |
| 3 | [org/name](https://huggingface.co/org/name) | 70B | 90.0% | 81.0% | Llama | Too large |

• Link para os nomes dos modelos em https://huggingface.co/<model_id>
• Use — para benchmarks onde o modelo não foi avaliado
• Estrelar a principal escolha recomendada com ⭐

…