Fluxo de Otimização de Desempenho do Agente

Melhoria sistemática de agentes existentes através de análise de desempenho, engenharia de prompts e iteração contínua.

[Pensamento estendido: A otimização de agentes requer uma abordagem orientada por dados que combine métricas de desempenho, análise de feedback do usuário e técnicas avançadas de engenharia de prompts. O sucesso depende de avaliação sistemática, melhorias direcionadas e testes rigorosos com capacidades de reversão para segurança em produção.]

Use esta habilidade quando

• Melhorar o desempenho ou a confiabilidade de um agente existente
• Analisar modos de falha, qualidade de prompt ou uso de ferramentas
• Executar testes A/B estruturados ou suítes de avaliação
• Projetar fluxos de trabalho de otimização iterativa para agentes

Não use esta habilidade quando

• Você está construindo um agente totalmente novo do zero
• Não há métricas, feedback ou casos de teste disponíveis
• A tarefa não está relacionada ao desempenho do agente ou à qualidade do prompt

Instruções

1. Estabeleça métricas de linha de base e colete exemplos representativos.
2. Identifique modos de falha e priorize correções de alto impacto.
3. Aplique melhorias de prompt e fluxo de trabalho com metas mensuráveis.
4. Valide com testes e implemente alterações em estágios controlados.

Limites de execução

Não execute avaliações hospedadas, delegue, envie mensagens para equipes, configure relatórios recorrentes ou implante apenas porque uma fase os nomeia. Siga a autorização existente do usuário e o fluxo de trabalho real do host. Mantenha rastros privados/redigidos, limite custos e etapas, isole alterações candidatas e exija verificações de versão exata suportadas. parallel-test-runner e funções de agente nomeadas não estão incluídas; use um harness real ou relate a lacuna.

Segurança

• Evite implantar alterações de prompt sem testes de regressão.
• Reverte rapidamente se as métricas de qualidade ou segurança regredirem.

Fase 1: Análise de Desempenho e Métricas de Linha de Base

Analise rastros fornecidos e métricas disponíveis. As funções nomeadas abaixo são funções opcionais, não executáveis instalados ou permissão para delegar.

1.1 Coleta de Dados de Desempenho

Use: context-manager
Task: analyze the authorized trace window using actual available tools
No analyze-agent-performance command is bundled.

Colete métricas incluindo:

• Taxa de conclusão de tarefas (tarefas bem-sucedidas vs. falhas)
• Precisão da resposta e correção factual
• Eficiência do uso de ferramentas (ferramentas corretas, frequência de chamadas)
• Tempo médio de resposta e consumo de tokens
• Indicadores de satisfação do usuário (correções, novas tentativas)
• Incidentes de alucinação e padrões de erro

1.2 Análise de Padrões de Feedback do Usuário

Identifique padrões recorrentes nas interações do usuário:

• Padrões de correção: Onde os usuários modificam consistentemente as saídas
• Solicitações de esclarecimento: Áreas comuns de ambiguidade
• Abandono de tarefas: Pontos onde os usuários desistem
• Perguntas de acompanhamento: Indicadores de respostas incompletas
• Feedback positivo: Padrões de sucesso a serem preservados

1.3 Classificação de Modos de Falha

Categorize falhas por causa raiz:

• Má interpretação de instruções: Confusão de função ou tarefa
• Erros de formato de saída: Problemas de estrutura ou formatação
• Perda de contexto: Degradação de conversas longas
• Uso indevido de ferramentas: Seleção incorreta ou ineficiente de ferramentas
• Violações de restrições: Violações de regras de segurança ou de negócios
• Tratamento de casos extremos: Cenários de entrada incomuns

1.4 Relatório de Desempenho de Linha de Base

Gere métricas quantitativas de linha de base:

Performance Baseline:
- Task Success Rate: [X%]
- Average Corrections per Task: [Y]
- Tool Call Efficiency: [Z%]
- User Satisfaction Score: [1-10]
- Average Response Latency: [Xms]
- Token Efficiency Ratio: [X:Y]

Fase 2: Melhorias de Engenharia de Prompt

Aplique técnicas avançadas de otimização de prompt usando o agente prompt-engineer.

2.1 Aprimoramento de Cadeia de Pensamento (Chain-of-Thought)

Implemente padrões de raciocínio estruturado:

Use: prompt-engineer
Technique: chain-of-thought-optimization

• Adicione etapas explícitas de raciocínio: "Vamos abordar isso passo a passo..."
• Inclua pontos de verificação de autoverificação: "Antes de prosseguir, verifique se..."
• Implemente decomposição recursiva para tarefas complexas
• Colete explicações concisas de decisões e rastros de ferramentas observáveis, não cadeias de pensamento ocultas

2.2 Otimização de Exemplos Few-Shot

Curadoria de exemplos de alta qualidade de interações bem-sucedidas:

• Selecione exemplos diversos cobrindo casos de uso comuns
• Inclua casos extremos que falharam anteriormente
• Mostre exemplos positivos e negativos com explicações
• Ordene os exemplos do simples ao complexo

…