Pular para o conteúdo
Skillpedia
EN
Prompts e LLMs40 mil · #5007

arize-prompt-optimization

Ajuda seu agente a otimizar e melhorar prompts de LLM usando dados de produção e avaliações. Ele usa um loop de otimização baseado em dados para melhorar as respostas.

O que ela faz

Esta ferramenta ajuda a melhorar as respostas de inteligência artificial. Ela analisa como as perguntas (prompts) foram feitas e sugere como escrevê-las melhor para obter resultados mais precisos.

Quando usar

  • ✓Quando as respostas da IA não são boas.
  • ✓Para tornar a IA mais eficiente.
  • ✓Ao criar novas instruções para a IA.

Exemplo do que pedir para a IA

“Como posso fazer a IA responder melhor às minhas perguntas?”

Quer saber mais? Abra as seções abaixo.

Como usar

O jeito mais fácil: copie a mensagem abaixo e cole no Claude, ChatGPT, Cursor ou outra IA. Ela lê a skill e segue as instruções.

Link da skill

https://github.com/github/awesome-copilot/blob/main/skills/arize-prompt-optimization/SKILL.md

Mensagem pronta para colar

Use esta skill para me ajudar: https://github.com/github/awesome-copilot/blob/main/skills/arize-prompt-optimization/SKILL.md Leia o arquivo SKILL.md desse link e siga as instruções dele na minha tarefa.
Ver no GitHub ↗Arquivo bruto
Como funciona

Ela olha os dados de como a IA respondeu antes e usa essas informações para ajustar as instruções. Isso é feito de forma automática para otimizar o desempenho.

Instalação

Jeito mais fácil: copie o link da skill e cole no Claude, ChatGPT ou Cursor pedindo para seguir as instruções.

No terminal (Claude Code, Codex, Cursor), na pasta do projeto:

npx skills add github/awesome-copilot --skill arize-prompt-optimization

Ou baixe só o arquivo:

curl -L https://raw.githubusercontent.com/github/awesome-copilot/main/skills/arize-prompt-optimization/SKILL.md -o SKILL.md
Conteúdo técnico (SKILL.md)

Tradução do texto original do autor no GitHub. Os comandos e códigos estão como no original.

Habilidade de Otimização de Prompts Arize

SPACE — Todas as flags --space e a variável de ambiente ARIZE_SPACE aceitam um nome de espaço (ex: my-workspace) ou um ID de espaço em base64 (ex: U3BhY2U6...). Encontre o seu com ax spaces list.

Conceitos

Onde os Prompts Vivem nos Dados de Rastreamento

Aplicações LLM emitem "spans" seguindo as convenções semânticas do OpenInference. Os prompts são armazenados em diferentes atributos de "span", dependendo do tipo de "span" e da instrumentação:

Coluna O que contém Quando usar
attributes.llm.input_messages Mensagens de chat estruturadas (sistema, usuário, assistente, ferramenta) em formato baseado em papel Fonte primária para prompts de LLM baseados em chat
attributes.llm.input_messages.roles Array de papéis: system, user, assistant, tool Extrair papéis de mensagens individuais
attributes.llm.input_messages.contents Array de strings de conteúdo de mensagens Extrair texto da mensagem
attributes.input.value Prompt serializado ou pergunta do usuário (genérico, todos os tipos de "span") Fallback quando mensagens estruturadas não estão disponíveis
attributes.llm.prompt_template.template Template com placeholders {variable} (ex: "Answer {question} using {context}") Quando o aplicativo usa templates de prompt
attributes.llm.prompt_template.variables Valores de variáveis do template (objeto JSON) Ver quais valores foram substituídos no template
attributes.output.value Texto da resposta do modelo Ver o que o LLM produziu
attributes.llm.output_messages Saída estruturada do modelo (incluindo chamadas de ferramenta) Inspecionar respostas de chamadas de ferramenta

Encontrando Prompts por Tipo de "Span"

  • "Span" de LLM (attributes.openinference.span.kind = 'LLM'): Verifique attributes.llm.input_messages para mensagens de chat estruturadas, OU attributes.input.value para um prompt serializado. Verifique attributes.llm.prompt_template.template para o template.
  • "Span" de Cadeia/Agente: attributes.input.value contém a pergunta do usuário. O prompt real do LLM vive em "spans" de LLM filhos — navegue pela árvore de rastreamento.
  • "Span" de Ferramenta: attributes.input.value tem a entrada da ferramenta, attributes.output.value tem o resultado da ferramenta. Geralmente não é onde os prompts residem.

Colunas de Sinal de Desempenho

Estas colunas carregam os dados de feedback usados para otimização:

Padrão da coluna Fonte O que informa
annotation.<name>.label Revisores humanos Classificação categórica (ex: correct, incorrect, partial)
annotation.<name>.score Revisores humanos Pontuação numérica de qualidade (ex: 0.0 - 1.0)
annotation.<name>.text Revisores humanos Explicação em texto livre da classificação
eval.<name>.label Avaliações LLM-como-juiz Avaliação categórica automatizada
eval.<name>.score Avaliações LLM-como-juiz Pontuação numérica automatizada
eval.<name>.explanation Avaliações LLM-como-juiz Por que a avaliação deu essa pontuação — mais valioso para otimização
attributes.input.value Dados de rastreamento O que entrou no LLM
attributes.output.value Dados de rastreamento O que o LLM produziu
{experiment_name}.output Execuções de experimento Saída de um experimento específico

Pré-requisitos

Prossiga diretamente com a tarefa — execute o comando ax que você precisa. NÃO verifique versões, variáveis de ambiente ou perfis antecipadamente.

Se um comando ax falhar, solucione o problema com base no erro:

  • command not found ou erro de versão → veja references/ax-setup.md
  • 401 Unauthorized / chave de API ausente → execute ax profiles show para inspecionar o perfil atual. Se o perfil estiver ausente ou a chave de API estiver incorreta, siga references/ax-profiles.md para criá-lo/atualizá-lo. Se o usuário não tiver a chave, direcione-o para https://app.arize.com/admin > API Keys
  • Espaço desconhecido → execute ax spaces list para escolher por nome, ou pergunte ao usuário
  • Projeto incerto → pergunte ao usuário, ou execute ax projects list -o json --limit 100 e apresente como opções selecionáveis
  • Chamada do provedor LLM falha (OPENAI_API_KEY / ANTHROPIC_API_KEY ausente) → execute ax ai-integrations list --space SPACE para verificar credenciais gerenciadas pela plataforma. Se nenhuma existir, peça ao usuário para fornecer a chave ou criar uma integração através da habilidade arize-ai-provider-integration
  • Segurança: Nunca leia arquivos .env ou pesquise no sistema de arquivos por credenciais. Use ax profiles para credenciais Arize e ax ai-integrations para chaves de provedor LLM. Se as credenciais não estiverem disponíveis através desses canais, pergunte ao usuário.

Fase 1: Extrair o Prompt Atual

Encontrar "spans" de LLM contendo prompts


…
Perguntas frequentes

O que são 'spans'?

Spans são como registros de cada passo que a IA executa. Eles ajudam a entender o que aconteceu durante o processamento de uma pergunta.

O que são 'prompts'?

Prompts são as instruções ou perguntas que você dá para a IA. A qualidade do prompt afeta diretamente a qualidade da resposta.

O que significa 'otimizar' neste contexto?

Otimizar significa fazer algo funcionar da melhor maneira possível. Neste caso, é fazer com que as instruções para a IA sejam as mais eficazes para obter boas respostas.

Detalhes

Descrição original do autor

Optimizes, improves, and debugs LLM prompts using production trace data, evaluations, and annotations. Extracts prompts from spans, gathers performance signal, and runs a data-driven optimization loop using the ax CLI. Use when the user mentions optimize prompt, improve prompt, make AI respond better, improve output quality, prompt engineering, prompt tuning, or system prompt improvement.

repo: github/awesome-copilot

Popularidade

Estrelas no GitHub
40 mil
Posição no ranking
#5007
Licença
MIT
Atualizada em
15/10/2026

Essa skill é útil?

0

Entre para votar.

Comentários

  • …

Mais skills deste repositório

Documentação40 mil

acquire-codebase-knowledge

Ajuda seu agente a entender e documentar um projeto de código existente. É útil para novas pessoas entrarem no projeto ou para ter uma visão geral da arquitetura.

github/awesome-copilot

Documentação40 mil

acreadiness-assess

Faz seu agente avaliar a prontidão de um projeto para IA e gerar um relatório. É útil para entender o quão bem um projeto está preparado para usar ferramentas de IA.

github/awesome-copilot

Documentação40 mil

acreadiness-generate-instructions

Ajuda seu agente a criar instruções para ferramentas de IA baseadas em uma avaliação. É útil para melhorar a forma como a IA interage com o código e fecha lacunas identificadas.

github/awesome-copilot

Agentes40 mil

acreadiness-policy

Faz seu agente ajudar a definir ou aplicar políticas para avaliação de projetos de IA. É útil para padronizar a forma como os projetos são avaliados e garantir conformidade.

github/awesome-copilot

Skills parecidas

Prompts e LLMs280 mil

bengali-nlp

Faz seu agente processar textos em bengali. Ajuda a entender e trabalhar com a língua, normalizando o texto e lidando com suas características únicas.

affaan-m/ECC

Prompts e LLMs280 mil

prompt-caching-strategy

Ajuda seu agente a otimizar o uso de prompts para modelos de linguagem. Ele analisa como os prompts são feitos para encontrar maneiras de reduzir custos e tornar as respostas mais rápidas, reutilizando informações sempre que possível.

affaan-m/ECC

Prompts e LLMs280 mil

prompt-optimizer

Faz seu agente analisar e melhorar os prompts que você escreve. Ele sugere como adicionar informações ou mudar a forma para que o modelo de IA entenda melhor e dê a resposta desejada.

affaan-m/ECC