Padrões de Degradação de Contexto

Modelos de linguagem exibem padrões de degradação previsíveis à medida que o comprimento do contexto aumenta. Compreender esses padrões é essencial para diagnosticar falhas e projetar sistemas resilientes. A degradação de contexto não é um estado binário, mas um contínuo de degradação de desempenho que se manifesta de várias maneiras distintas.

Quando Usar

Ative esta habilidade quando:

• O desempenho do agente se degrada inesperadamente durante conversas longas
• Depurando casos em que agentes produzem saídas incorretas ou irrelevantes
• Projetando sistemas que devem lidar com contextos grandes de forma confiável
• Avaliando escolhas de engenharia de contexto para sistemas de produção
• Investigando fenômenos de "perdido no meio" nas saídas do agente
• Analisando falhas relacionadas ao contexto no comportamento do agente

Conceitos Principais

A degradação de contexto se manifesta através de vários padrões distintos. O fenômeno "perdido no meio" faz com que informações no centro do contexto recebam menos atenção. O envenenamento de contexto ocorre quando erros se acumulam através de referências repetidas. A distração de contexto acontece quando informações irrelevantes sobrecarregam o conteúdo relevante. A confusão de contexto surge quando o modelo não consegue determinar qual contexto se aplica. O choque de contexto se desenvolve quando informações acumuladas entram em conflito direto.

Esses padrões são previsíveis e podem ser mitigados através de padrões arquitetônicos como compactação, mascaramento, particionamento e isolamento.

Tópicos Detalhados

O Fenômeno "Perdido no Meio"

O padrão de degradação mais bem documentado é o efeito "perdido no meio", onde os modelos demonstram curvas de atenção em forma de U. Informações no início e no final do contexto recebem atenção confiável, enquanto informações enterradas no meio sofrem com uma precisão de recuperação dramaticamente reduzida.

Evidências Empíricas Pesquisas demonstram que informações relevantes colocadas no meio do contexto experimentam 10-40% menos precisão de recuperação em comparação com as mesmas informações no início ou no final. Isso não é uma falha do modelo, mas uma consequência das mecânicas de atenção e das distribuições dos dados de treinamento.

Os modelos alocam atenção massiva ao primeiro token (geralmente o token BOS) para estabilizar estados internos. Isso cria um "sumidouro de atenção" que absorve o orçamento de atenção. À medida que o contexto cresce, o orçamento limitado é esticado, e os tokens do meio falham em obter peso de atenção suficiente para recuperação confiável.

Implicações Práticas Projete a colocação do contexto com os padrões de atenção em mente. Coloque informações críticas no início ou no final do contexto. Considere se a informação será consultada diretamente ou se precisa apoiar o raciocínio — se for o último, a colocação importa menos, mas a qualidade geral do sinal importa mais.

Para documentos ou conversas longas, use estruturas de resumo que apresentem informações-chave em posições favorecidas pela atenção. Use cabeçalhos de seção explícitos e transições para ajudar os modelos a navegar pela estrutura.

Envenenamento de Contexto

O envenenamento de contexto ocorre quando alucinações, erros ou informações incorretas entram no contexto e se acumulam através de referências repetidas. Uma vez envenenado, o contexto cria loops de feedback que reforçam crenças incorretas.

Como Ocorre o Envenenamento O envenenamento geralmente entra através de três caminhos. Primeiro, as saídas de ferramentas podem conter erros ou formatos inesperados que os modelos aceitam como verdade absoluta. Segundo, documentos recuperados podem conter informações incorretas ou desatualizadas que os modelos incorporam ao raciocínio. Terceiro, resumos gerados pelo modelo ou saídas intermediárias podem introduzir alucinações que persistem no contexto.

O efeito de acumulação é severo. Se a seção de objetivos de um agente for envenenada, ele desenvolverá estratégias que exigirão esforço considerável para serem desfeitas. Cada decisão subsequente referencia o conteúdo envenenado, reforçando suposições incorretas.

Detecção e Recuperação Observe sintomas como degradação da qualidade da saída em tarefas que antes eram bem-sucedidas, desalinhamento de ferramentas onde os agentes chamam ferramentas ou parâmetros errados, e alucinações que persistem apesar das tentativas de correção. Quando esses sintomas aparecem, considere o envenenamento de contexto.

A recuperação requer a remoção ou substituição do conteúdo envenenado. Isso pode envolver truncar o contexto para antes do ponto de envenenamento, notar explicitamente o envenenamento no contexto e pedir reavaliação, ou reiniciar com contexto limpo e preservar apenas informações verificadas.

Distração de Contexto

…