Seleção de Método de Fine-Tuning

Esta é a habilidade de roteamento para o ciclo de vida de fine-tuning: ela decide se o fine-tuning é a ferramenta certa, e se for, qual método e qual classe de tamanho de modelo base. Todas as outras habilidades neste plugin assumem que esse roteamento já ocorreu — comece aqui antes de abrir lora-qlora-recipes, preference-optimization, ou grpo-rlvr-training.

Quando Usar Esta Habilidade

• Iniciando qualquer esforço de fine-tuning, antes que um framework ou modelo base tenha sido escolhido.
• Incerto se RAG ou engenharia de prompt resolveriam o problema de forma mais barata do que o treinamento.
• Escolhendo entre otimização de preferência (família DPO) e um método de reforço (GRPO/RLVR) para a mesma tarefa subjacente.
• Dimensionando uma combinação candidata de modelo/método antes de se comprometer com uma execução.

Referência Rápida

Desvios Primeiro

A maioria das solicitações que soam como "fazer fine-tuning disso" são melhor atendidas e mais baratas em outro lugar. Verifique estes desvios antes de iniciar uma execução de treinamento:

• Vinculado a conhecimento e volátil (a lacuna são fatos que mudam — preços, documentos, eventos atuais): roteie para RAG, não para fine-tuning. Um modelo com fine-tuning "congela" um snapshot; fatos voláteis ficam desatualizados imediatamente.
• Vinculado a comportamento e mutável (o comportamento desejado ainda está sendo definido, ou muda por solicitação): roteie para engenharia de prompt. Fine-tuning "congela" um comportamento; não congele um que ainda não se estabilizou.
• Conhecimento de domínio estável e denso: é aqui que entra o pré-treinamento contínuo (CPT), dimensionado pela quantidade de texto de domínio existente:

A taxa de aprendizado do CPT é ≈ 10% da LR de pré-treinamento. CPT é apenas para orientação neste plugin — o dimensionamento e a orientação da LR estão aqui, mas este plugin não executa uma execução de CPT.

Roteador de Método

Uma vez que os desvios são descartados, esta é a árvore de decisão completa (verbatim da pesquisa em que este plugin é construído):

New FACTS?  volatile → RAG | stable+dense → CPT (LR ~10% of pretrain) → SFT
New BEHAVIOR? shifting → prompt-engineering | stable:
  demos → SFT (LoRA/QLoRA, all-linear, α=2r)
  preference pairs → DPO (SimPO if length-bias, ORPO if memory-bound)
  unpaired 👍/👎 → KTO
  verifiable success → RLVR + GRPO (DAPO/GSPO/Dr.GRPO per failure mode)
Deploy: FP8 (Hopper+) | NVFP4 (Blackwell scale) | AWQ (older) | GGUF+imatrix (edge)
BEFORE ANY OF THIS: the eval harness must exist first.

Leia a árvore de cima para baixo: responda "novos fatos ou novo comportamento", e então siga o ramo que corresponde ao formato dos dados em mãos (demonstrações, pares de preferência, aprovação/desaprovação, ou sucesso/falha verificável). O formato dos dados escolhe o método — não o contrário.

Exemplos de Roteamento Bem-Sucedidos

• "Os usuários querem que o assistente siga nossas macros de suporte exatamente." Comportamento estável e demonstrável a partir de transcrições → demonstrações → SFT.
• "Temos pares de respostas boas/ruins de aprovação/desaprovação de revisores, não pareados." → sinal não pareado → KTO, não DPO (DPO precisa de preferências pareadas).
• "O modelo já consegue resolver alguns desses problemas de matemática e podemos avaliar a correção automaticamente." → sinal de sucesso verificável → GRPO+RLVR, e somente após confirmar que o modelo tem sucesso pelo menos às vezes (veja Fatos Chave de Roteamento abaixo).
• "Queremos que o modelo conheça a página de preços desta semana." → fatos voláteis → RAG, sem nenhuma execução de treinamento.

Fatos Chave de Roteamento

• A escolha da função de perda tem baixo impacto. Um estudo com 240 H100 descobriu que a escolha do método valia ~1 ponto percentual versus ~50 pontos para a escala do modelo, e zero das 20 variantes de DPO superaram o DPO vanilla. Não gaste uma decisão de roteamento agonizando sobre a seleção de variantes de DPO — gaste-a em acertar o formato dos dados e a escala.
• DPO é para gosto, GRPO+RLVR é para raciocínio. Pares de preferência que codificam um julgamento subjetivo (tom, estilo, "qual resposta

…