Técnicas de Otimização de Contexto

A otimização de contexto estende a capacidade efetiva de janelas de contexto limitadas através de compressão estratégica, mascaramento, cache e particionamento. O objetivo não é aumentar magicamente as janelas de contexto, mas sim fazer melhor uso da capacidade disponível. Uma otimização eficaz pode dobrar ou triplicar a capacidade de contexto efetiva sem a necessidade de modelos maiores ou contextos mais longos.

Quando Usar

Ative esta funcionalidade quando:

• Limites de contexto restringem a complexidade da tarefa
• Otimizando para redução de custos (menos tokens = custos menores)
• Reduzindo a latência para conversas longas
• Implementando sistemas de agentes de longa duração
• Precisando lidar com documentos ou conversas maiores
• Construindo sistemas de produção em escala

Conceitos Principais

A otimização de contexto estende a capacidade efetiva através de quatro estratégias principais: compactação (resumindo o contexto próximo aos limites), mascaramento de observação (substituindo saídas verbosas por referências), otimização de KV-cache (reutilizando computações em cache) e particionamento de contexto (dividindo o trabalho entre contextos isolados).

A percepção chave é que a qualidade do contexto importa mais do que a quantidade. A otimização preserva o sinal enquanto reduz o ruído. A arte reside em selecionar o que manter versus o que descartar, e quando aplicar cada técnica.

Tópicos Detalhados

Estratégias de Compactação

O que é Compactação Compactação é a prática de resumir o conteúdo do contexto ao se aproximar dos limites, e então reinicializar uma nova janela de contexto com o resumo. Isso destila o conteúdo de uma janela de contexto de maneira de alta fidelidade, permitindo que o agente continue com degradação mínima de desempenho.

A compactação geralmente serve como a primeira alavanca na otimização de contexto. A arte reside em selecionar o que manter versus o que descartar.

Implementação de Compactação A compactação funciona identificando seções que podem ser comprimidas, gerando resumos que capturam pontos essenciais e substituindo o conteúdo completo por resumos. A prioridade para compressão vai para saídas de ferramentas (substituir por resumos), turnos antigos (resumir conversas iniciais), documentos recuperados (resumir se houver versões recentes) e nunca comprimir o prompt do sistema.

Geração de Resumos Resumos eficazes preservam diferentes elementos dependendo do tipo de mensagem:

Saídas de ferramentas: Preservam descobertas chave, métricas e conclusões. Removem a saída bruta e verbosa.

Turnos de conversação: Preservam decisões chave, compromissos e mudanças de contexto. Removem preenchimento e idas e vindas.

Documentos recuperados: Preservam fatos e alegações chave. Removem evidências de suporte e elaboração.

Mascaramento de Observação

O Problema da Observação Saídas de ferramentas podem compor 80%+ do uso de tokens em trajetórias de agentes. Grande parte disso é saída verbosa que já cumpriu seu propósito. Uma vez que um agente usou uma saída de ferramenta para tomar uma decisão, manter a saída completa oferece valor decrescente enquanto consome contexto significativo.

O mascaramento de observação substitui saídas de ferramentas verbosas por referências compactas. A informação permanece acessível se necessário, mas não consome contexto continuamente.

Seleção de Estratégia de Mascaramento Nem todas as observações devem ser mascaradas igualmente:

Nunca mascarar: Observações críticas para a tarefa atual, observações do turno mais recente, observações usadas em raciocínio ativo.

Considerar mascarar: Observações de 3+ turnos atrás, saídas verbosas com pontos chave extraíveis, observações cujo propósito foi cumprido.

Sempre mascarar: Saídas repetidas, cabeçalhos/rodapés boilerplate, saídas já resumidas na conversa.

Otimização de KV-Cache

Entendendo o KV-Cache O KV-cache armazena tensores de Chave (Key) e Valor (Value) computados durante a inferência, crescendo linearmente com o comprimento da sequência. Armazenar o KV-cache em cache entre requisições que compartilham prefixos idênticos evita a recomputação.

O prefix caching reutiliza blocos de KV entre requisições com prefixos idênticos usando correspondência de blocos baseada em hash. Isso reduz drasticamente o custo e a latência para requisições com prefixos comuns, como prompts do sistema.

Padrões de Otimização de Cache Otimize para caching reordenando elementos de contexto para maximizar acertos de cache. Coloque elementos estáveis primeiro (prompt do sistema, definições de ferramentas), depois elementos frequentemente reutilizados, e elementos únicos por último.

Projete prompts para maximizar a estabilidade do cache: evite conteúdo dinâmico como timestamps, use formatação consistente, mantenha a estrutura estável entre sessões.

Particionamento de Contexto

Particionamento por Sub-Agente

…