Promoção de Checkpoint

A fase 5 para o plugin inteiro: um checkpoint que treina de forma limpa e supera sua métrica de tarefa ainda não é lançado sem passar por todas as quatro etapas abaixo. eval-harness-first construiu a suíte de reexecução aqui — esta habilidade é onde a linha de base dessa suíte decide algo.

Entrada: um checkpoint treinado, eval/baseline-<model>.json de eval-harness-first e o eval/drift-suite.yaml congelado. Formato de Saída: promotion-report.md — as evidências das quatro etapas mais um veredito terminal PROMOTE ou REJECT que /finetune a Fase 5 e /promote-checkpoint consomem diretamente.

O Portão de Quatro Etapas

Cada etapa controla a próxima — uma falha na etapa 2 significa que a etapa 3 não é executada. As etapas 2 e 3 compartilham uma passagem de inferência cara, então executá-las simultaneamente e aplicar a ordem do portão no momento do veredito é licenciado em uma arena determinística (nada é economizado pela serialização); uma arena baseada em juiz ainda deve esperar pela etapa 2 primeiro — é aí que as economias reais estão.

1. Portão de qualidade de dados. Antes que qualquer avaliação toque no checkpoint: deduplique o conjunto de treinamento, verifique o vazamento de goldens de avaliação (a falha exata trace-to-training-data's seção de Higiene existe para prevenir) e escaneie por ruído de rótulo. Um checkpoint treinado em goldens vazados invalida todas as etapas posteriores.
2. Suíte de capacidade-deriva retida + congelada. Reexecute eval-harness-first's eval/drift-suite.yaml — MMLU/GSM8K/IFEval mais 200–500 itens adjacentes ao domínio — contra o checkpoint e compare com baseline-<model>.json por benchmark contra a tabela de Orçamento de Deriva abaixo.
3. Arena pareada vs. base. Juiz com posição randomizada, checkpoint vs. modelo base, mesmos prompts — ou a variante determinística de comparação pareada em references/gate-templates.md quando cada avaliador no sistema é determinístico (sem juiz LLM; randomização de posição N/A lá). Uma vitória na retenção que perde na arena ao vivo não é lançada — os números da etapa 2 e os julgamentos da etapa 3 devem concordar; uma vitória em goldens congelados e uma derrota na comparação pareada é um sinal real, não uma discrepância para explicar.
4. Canário. Rollout estratificado de 5–10% com rollback automático para qualquer checkpoint que atinja o tráfego de produção. Usuários apenas locais param na etapa 3 — pular a etapa 4 para uma implantação local é o ponto de parada correto, não um atalho.

Orçamento de Deriva

A linha >5pts governa independentemente das outras: um checkpoint que ganhou 8 pontos na tarefa alvo e perdeu 6 pontos de capacidade geral ainda falha aqui — a melhoria da tarefa nunca compensa uma violação do orçamento de deriva.

A contagem de itens deriva do orçamento, não da conveniência: o n estrito para uma meia-largura abaixo da metade do limite de falha grave de 5pts é ~1.300 com precisão típica (p≈0.7); n=200 é um piso pragmático (±6pt meia-largura com o mesmo p, n=50 ±13pt) — relate a meia-largura com cada veredito, e trate uma margem menor que ela como REJECT (uncertain), não PASSAR/FALHA GRAVE. Matemática completa e um exemplo de cautela de 5 execuções: references/gate-templates.md.

REEXECUÇÃO não é um veredito. Uma deriva de 2–5pts só produz um PROMOTE ou REJECT após a conclusão da reexecução com variação de semente — PROMOTE requer pousar de volta em ≤1pt (ruído); qualquer reexecução ainda >1pt — banda de 2–5pts ou violação >5pts — resolve a etapa 2 para uma REJECT grave. Nenhum relatório pode chegar à seção de Veredito com a etapa 2 ainda mostrando RERUN.

Esquecimento Catastrófico

O ajuste fino de LoRA não gerenciado perde capacidade geral real, e a etapa 2 é o que o detecta:

• ~43% de perda de conhecimento não gerenciado — sem replay, sem regularização.
• ~10% com gerenciamento básico — algum replay ou um LR conservador.
• ~3% com replay + EWC — o caso disciplinado.
• Mistura de replay de dados gerais de 10–30% é a mitigação padrão — misture dados de domínio geral no treinamento em vez de apenas dados da tarefa alvo.

Se um checkpoint atingir a falha grave >5pts na etapa 2, trabalhe nesta escada de escalonamento em ordem — a ordem canônica única para a qual esta habilidade e references/gate-templates.md apontam:

1. Ajuste a fração da mistura de replay — troque linhas, não as adicione (adicionar confunde a fração com os passos totais do otimizador). A dose não é monotônica em escala de pequena execução (<~100 passos) — verifique novamente a deriva após qualquer troca.

…