Fundamentos de Engenharia de Contexto

Contexto é o estado completo disponível para um modelo de linguagem em tempo de inferência. Ele inclui tudo o que o modelo pode atender ao gerar respostas: instruções do sistema, definições de ferramentas, documentos recuperados, histórico de mensagens e saídas de ferramentas. Compreender os fundamentos do contexto é um pré-requisito para uma engenharia de contexto eficaz.

Quando Usar

Ative esta habilidade quando:

• Projetar novos sistemas de agente ou modificar arquiteturas existentes
• Depurar comportamento inesperado do agente que possa estar relacionado ao contexto
• Otimizar o uso de contexto para reduzir custos de tokens ou melhorar o desempenho
• Integrar novos membros da equipe aos conceitos de engenharia de contexto
• Revisar decisões de design relacionadas ao contexto

Conceitos Principais

O contexto compreende vários componentes distintos, cada um com características e restrições diferentes. O mecanismo de atenção cria um orçamento finito que restringe o uso eficaz do contexto. A divulgação progressiva gerencia essa restrição carregando informações apenas quando necessário. A disciplina de engenharia é curar o menor conjunto de tokens de alto sinal que atinge os resultados desejados.

Tópicos Detalhados

A Anatomia do Contexto

Prompts do Sistema Os prompts do sistema estabelecem a identidade central do agente, suas restrições e diretrizes comportamentais. Eles são carregados uma vez no início da sessão e geralmente persistem durante toda a conversa. Os prompts do sistema devem ser extremamente claros e usar linguagem simples e direta na altitude correta para o agente.

A altitude correta equilibra dois modos de falha. Em um extremo, os engenheiros codificam lógicas complexas e frágeis que criam fragilidade e sobrecarga de manutenção. No outro extremo, os engenheiros fornecem orientações vagas de alto nível que não dão sinais concretos para os resultados desejados ou assumem falsamente um contexto compartilhado. A altitude ideal atinge um equilíbrio: específica o suficiente para guiar o comportamento de forma eficaz, mas flexível o suficiente para fornecer heurísticas fortes.

Organize os prompts em seções distintas usando marcação XML ou cabeçalhos Markdown para delinear informações de fundo, instruções, orientação de ferramentas e descrição da saída. A formatação exata importa menos à medida que os modelos se tornam mais capazes, mas a clareza estrutural permanece valiosa.

Definições de Ferramentas As definições de ferramentas especificam as ações que um agente pode realizar. Cada ferramenta inclui um nome, descrição, parâmetros e formato de retorno. As definições de ferramentas ficam perto do início do contexto após a serialização, geralmente antes ou depois do prompt do sistema.

As descrições das ferramentas orientam coletivamente o comportamento do agente. Descrições ruins forçam os agentes a adivinhar; descrições otimizadas incluem contexto de uso, exemplos e padrões. O princípio de consolidação afirma que, se um engenheiro humano não puder dizer definitivamente qual ferramenta deve ser usada em uma determinada situação, um agente não pode esperar fazer melhor.

Documentos Recuperados Documentos recuperados fornecem conhecimento específico do domínio, materiais de referência ou informações relevantes para a tarefa. Os agentes usam geração aumentada por recuperação para trazer documentos relevantes para o contexto em tempo de execução, em vez de pré-carregar todas as informações possíveis.

A abordagem just-in-time mantém identificadores leves (caminhos de arquivo, consultas armazenadas, links da web) e usa essas referências para carregar dados no contexto dinamicamente. Isso espelha a cognição humana: geralmente não memorizamos corpus inteiros de informações, mas sim usamos sistemas externos de organização e indexação para recuperar informações relevantes sob demanda.

Histórico de Mensagens O histórico de mensagens contém a conversa entre o usuário e o agente, incluindo consultas anteriores, respostas e raciocínios. Para tarefas de longa duração, o histórico de mensagens pode crescer e dominar o uso do contexto.

O histórico de mensagens serve como memória de rascunho onde os agentes rastreiam o progresso, mantêm o estado da tarefa e preservam o raciocínio entre as interações. O gerenciamento eficaz do histórico de mensagens é fundamental para a conclusão de tarefas de longo alcance.

Saídas de Ferramentas As saídas de ferramentas são os resultados das ações do agente: conteúdo de arquivos, resultados de pesquisa, saída de execução de comandos, respostas de API e dados semelhantes. As saídas de ferramentas compõem a maioria dos tokens em trajetórias típicas de agente, com pesquisas mostrando que observações (saídas de ferramentas) podem atingir 83,9% do uso total de contexto.

As saídas de ferramentas consomem contexto, quer sejam relevantes para as decisões atuais ou não. Isso cria pressão para estratégias como mascaramento de observação, compactação e retenção seletiva de resultados de ferramentas.

Janelas de Contexto e Mecanismos de Atenção

A Restrição do Orçamento de Atenção

…