Visão-Linguagem SFT

Esta habilidade assume que finetuning-method-selection já foi roteado para cá: a forma dos dados é demonstrações de imagem+texto, não pares de preferência ou um sinal de recompensa verificável, e a base é um modelo de visão-linguagem em vez de um modelo apenas de texto. lora-qlora-recipes cobre a receita LoRA/QLoRA apenas de texto que esta habilidade especializa para a torre e o projetor de visão; leia essa habilidade primeiro se os fundamentos de LoRA (rank, alpha, módulos alvo) ainda não forem familiares.

Entrada: um conjunto de dados de imagem+texto e um modelo base VLM já selecionado no catálogo de modelos. Formato de saída: uma configuração de adaptador validada — quais componentes estão congelados, módulos alvo LoRA, e um orçamento de min_pixels/max_pixels — que llm-finetuning-training-engineer consome diretamente ao gerar um script executável.

Referência Rápida

A Receita de Consenso

Congele a torre de visão e o projetor. Coloque LoRA apenas no LLM, todo-linear (a mesma lista de módulos alvo de atenção + MLP que SFT apenas de texto — veja lora-qlora-recipes), em r=8–16, α=16–32. Este é o padrão estabelecido para adaptar o comportamento de um VLM sem perturbar como ele vê.

• A torre de visão e o projetor permanecem congelados por padrão. Eles já codificam uma representação visual geral; retreiná-los raramente é necessário e adiciona risco sem adicionar capacidade para a maioria das tarefas.
• O rank LoRA é menor que o padrão geral apenas de texto (r=8–16 aqui vs r=16–32 para SFT apenas de texto) porque o adaptador apenas de LLM está adaptando o comportamento, não injetando novo conhecimento visual.
• QLoRA é permitido apenas com uma torre de visão congelada. Quantizar a base e, ao mesmo tempo, descongelar e treinar camadas de visão é não suportado e instável — trate isso como uma regra rígida de emparelhamento, não como algo ajustável. Se a torre de visão precisar ser descongelada, abandone QLoRA e use LoRA bf16 em vez disso.

# freeze tower + projector; LoRA on LLM only
for name, param in model.named_parameters():
    if "vision_tower" in name or "projector" in name:
        param.requires_grad = False

target_modules = [
    "q_proj", "k_proj", "v_proj", "o_proj",
    "gate_proj", "up_proj", "down_proj",
]  # LLM-only, all-linear — r=8-16, alpha=16-32

Quando Descongelar

Descongelar camadas de visão é uma escalada deliberada, não uma decisão padrão — recorra a isso apenas quando a mudança de domínio for visual, não textual.

• Descongele apenas para mudança de domínio visual. Se a tarefa é ensinar novo comportamento em imagens que a torre já entende (gráficos, fotos do dia a dia), a receita de torre congelada acima é suficiente. Descongele quando o próprio domínio visual for desconhecido para a torre — imagens de satélite, exames médicos, diagramas técnicos densos — e a receita de torre congelada atingir um platô.
• As últimas 6 camadas ViT são o ponto ideal. Descongelar as seis últimas camadas de visão-transformer (não a torre inteira) resultou em +1.7pt DocVQA com ~1.75x custo de treinamento sobre a linha de base congelada. Considere seis camadas como o teto que vale a pena pagar; ir além gasta computação sem um resultado correspondente.
• O LR visual deve ser 5–10x menor que o LR do LLM quando descongelado. A representação pré-treinada da torre de visão é mais frágil que o adaptador do LLM; o mesmo LR para ambos arrisca sobrescrever a representação visual mais rápido do que o adaptador do LLM pode compensar.
• Rank LoRA alto na camada de patch-embedding arrisca NaN. Se o patch-embedding estiver no conjunto descongelado, mantenha seu rank baixo e observe a perda nos primeiros passos atentamente — um dos lugares mais frágeis para aplicar LoRA em um VLM.

Os Dois Assassinos Silenciosos

Ambos produzem uma execução que treina sem erro e sem aprendizado: a curva de perda parece normal, o modelo não melhora, e nenhum deles gera uma exceção — ambos precisam de uma verificação explícita de pré-treinamento, não apenas de um log de treinamento limpo.

• Incompatibilidade de tag/contagem de imagem. Cada token placeholder de imagem no texto modelado deve mapear 1:1 para um item de mídia realmente passado para o collator. Uma incompatibilidade (um placeholder, zero ou duas imagens anexadas; ou uma imagem sem placeholder) não gera erro na maioria dos collators —