Agente Optim

Visão Geral

Use esta habilidade para otimizar sistemas configuráveis contra um objetivo escalar mensurável. Ela ajuda um agente a transformar solicitações de ajuste vagas em experimentos delimitados com um espaço de busca, orçamento, linha de base e recomendação baseada em evidências definidos.

Quando Usar Esta Habilidade

• Use ao ajustar hiperparâmetros, prompts, configurações de inferência, parâmetros de simulação, estratégias quantitativas ou políticas de RL/controle.
• Use quando o objetivo puder ser medido como uma pontuação escalar, perda, precisão, custo, latência, recompensa ou métrica ajustada ao risco.
• Use quando o usuário precisar de um loop de otimização de baixo orçamento com histórico de tentativas, comparações e critérios de parada.

Não Use Esta Habilidade Quando

• O objetivo for puramente subjetivo e não puder ser pontuado de forma consistente.
• O usuário não forneceu permissão para executar experimentos ou consumir orçamento de computação/API.
• A tarefa for uma solicitação de implementação única, depuração ou revisão de código sem um espaço de busca configurável.

Instruções

1. Defina o alvo da otimização em uma frase: maximizar ou minimizar uma métrica escalar.
2. Liste os parâmetros ajustáveis, intervalos válidos, tipos, padrões e quaisquer combinações proibidas.
3. Estabeleça pelo menos uma linha de base antes de propor tentativas guiadas pelo agente.
4. Defina o orçamento com antecedência: número de tentativas, tempo, computação, dinheiro ou subamostra de dados.
5. Execute ou solicite tentativas uma de cada vez, a menos que o usuário aprove explicitamente a execução paralela.
6. Registre cada tentativa com parâmetros, valor da métrica, notas e status de falha.
7. Compare o melhor resultado com a linha de base e uma estratégia de busca simples, quando possível.
8. Pare quando o orçamento for esgotado, a melhoria se estabilizar ou a próxima tentativa não puder ser justificada por evidências.
9. Relate a configuração recomendada, o ganho medido, os trade-offs e qualquer validação ainda necessária antes do uso em produção.

Exemplos

Exemplo 1: Otimização de hiperparâmetros

Ajuste a taxa de aprendizado, a regularização e a profundidade da árvore para um modelo de inadimplência de crédito. Acompanhe a AUC de validação para cada tentativa, compare com a configuração padrão e recomende a melhor configuração somente se ela melhorar a linha de base dentro do orçamento de tentativas acordado.

Exemplo 2: Ajuste de inferência

Ajuste a profundidade de recuperação, a temperatura e o limite do reranker para um fluxo de trabalho RAG. Otimize a qualidade da resposta sob um teto de latência ou custo, em seguida, relate a melhor configuração com trade-offs de qualidade, latência e custo.

Exemplo 3: Simulação ou controle

Ajuste os ganhos do controlador ou os parâmetros do ambiente para um simulador. Otimize a recompensa ou o erro enquanto registra as tentativas falhas separadamente para que configurações instáveis não distorçam a recomendação.

Melhores Práticas

• Mantenha a primeira execução pequena; expanda somente após o loop produzir um sinal útil.
• Prefira parâmetros com significado operacional claro em vez de controles arbitrários.
• Trate tentativas falhas como dados e registre por que elas falharam.
• Valide a configuração final em dados separados, uma semente nova ou um cenário separado antes de considerá-la robusta.
• Pergunte antes de executar experimentos caros, longos ou com cobrança externa.

Limitações

• Esta habilidade não garante um ótimo global.
• Os resultados dependem da qualidade do objetivo, ruído, design do espaço de busca e reprodutibilidade do experimento.
• Use revisão de domínio antes de aplicar configurações ajustadas à produção, sistemas financeiros, de segurança crítica ou que impactam o usuário.

Recursos Adicionais

• Repositório Optim-Agent
• Documentação Optim-Agent