Exportação Quantizada

A última etapa após checkpoint-promotion entrega um veredito PROMOTE: um checkpoint que passou pelo portão de quatro estágios ainda não é implantado até ser exportado no formato correto para seu runtime de destino e provado que ainda funciona após a exportação. Um veredito REJECT nunca chega a essa habilidade — a exportação só começa a partir de um checkpoint promovido.

Entrada: um checkpoint promovido (ou adaptador LoRA) mais a superfície de implantação de destino — classe de GPU, pilha de serviço e se cargas de trabalho de contexto longo/código/matemática estão em escopo. Formato de saída: um artefato exportado no formato escolhido mais um relatório de comparação de teste de fumaça comparando 3–5 saídas de ouro pré-exportação e pós-exportação.

Mapa de Formatos

Escolha o formato pelo hardware e forma de implantação, não por hábito — a escolha errada desperdiça espaço livre de throughput ou falha silenciosamente em cargas de trabalho específicas (veja Sobrescritas de Carga de Trabalho).

• FP8 é o padrão em GPUs classe Hopper e mais novas. Preserva qualidade próxima a bf16 com aproximadamente metade da memória, e é a primeira escolha segura sempre que a GPU de destino o suporta e nenhuma restrição de dispositivo de borda se aplica.
• AWQ INT4 visa GPUs mais antigas que precedem o suporte de hardware FP8. GPTQ é substituído para novas implantações — não o utilize em uma exportação nova; AWQ tem melhor retenção de precisão na mesma largura de bits e suporte de ferramentas atual mais amplo.
• GGUF com quantização Q4_K_M, construído a partir de uma imatrix, é o formato para edge/llama.cpp. Use-o para implantação local ou adjacente à CPU, não para throughput de serviço de GPU — otimiza para tamanho, não tokens/segundo em uma GPU de datacenter.
• NVFP4 é apenas para implantações Blackwell em escala — e explicitamente NÃO em GB10. NVFP4 em SM121 (GB10) executa ~32% mais lento que FP8 porque o hardware carece de um caminho cvt.e2m1x2 nativo, a menos que o kernel seja compilado sm_121a. Escolher NVFP4 em um destino GB10 é uma regressão, não uma atualização — escolha FP8 lá em vez disso.
• Mesclado vs. Apenas LoRA é um eixo separado do formato de quantização. Uma exportação mesclada incorpora o adaptador aos pesos base: artefato maior, sem dependência do modelo base no momento do serviço. Apenas LoRA mantém o adaptador separado: artefato muito menor, mas a pilha de serviço deve carregar o modelo base exato junto com ele — um modelo base incompatível ou de revisão errada muda silenciosamente as saídas. Escolha mesclado quando a portabilidade do artefato for mais importante que o armazenamento; escolha apenas LoRA quando o tamanho do disco ou o serviço multi-adaptador for mais importante.

Escolhas Bem-Sucedidas

O principal trade-off na seleção de formato, lido como uma tabela de consulta para cenários comuns:

# quick decision snippet — see the table above for the full map
hopper_or_newer: fp8
older_gpu: awq-int4
edge_llama_cpp: gguf-q4_k_m+imatrix
gb10_any_workload: fp8-vllm-nightly   # never nvfp4 on GB10

Sobrescritas de Carga de Trabalho

O Mapa de Formatos acima é um padrão, não uma regra que sobrevive a todas as cargas de trabalho. Cargas de trabalho de contexto longo, código e matemática falham em INT4 — o erro de quantização se acumula em sequências longas e raciocínio preciso em nível de token de maneiras que não aparecem em prompts curtos e genéricos. Para qualquer uma dessas três classes de carga de trabalho, mantenha FP8 ou W8A8 mesmo que o hardware de destino justifique INT4 por motivos de custo.

• Não valide essa sobrescrita com MMLU ou benchmarks de conhecimento amplo semelhantes — eles não estressam o modo de falha. Meça com as avaliações de tarefa reais — os ouros e avaliadores de eval-harness-first, executados através do artefato exportado — porque a degradação INT4 em contexto longo, código ou matemática aparece como falhas específicas da tarefa (contexto perdido, sintaxe quebrada, erros aritméticos) muito antes de mover um benchmark de conhecimento.
• Se uma avaliação de tarefa regredir após uma exportação INT4 em uma dessas três classes de carga de trabalho, a correção é mudar o formato, não reajustar a receita de quantização — variantes AWQ e GPTQ na mesma largura de bits compartilham o mesmo modo de falha de erro de acúmulo nessas cargas de trabalho.

O Teste de Fumaça

Bugs de exportação são silenciosos no nível do arquivo — uma exportação malformada ainda produz um artefato carregável, então verificações de existência de arquivo não provam nada. **O teste de fumaça é

…