phoenix-evals
Permite ao seu agente criar e executar testes para aplicações de IA. Ele ajuda a verificar se os sistemas de inteligência artificial estão funcionando corretamente.
O que ela faz
Esta ferramenta ajuda a testar e melhorar sistemas de inteligência artificial (IA). Ela permite criar verificações para ver se a IA está funcionando bem, comparando seus resultados com o esperado ou com avaliações humanas.
Quando usar
- ✓Quando você quer saber se sua IA está dando respostas corretas.
- ✓Para comparar diferentes versões da sua IA e ver qual é melhor.
- ✓Para garantir que a IA se comporta de forma segura e esperada.
Exemplo do que pedir para a IA
“Como posso testar se meu chatbot de atendimento ao cliente está respondendo corretamente às perguntas?”
Quer saber mais? Abra as seções abaixo.
Como usar
O jeito mais fácil: copie a mensagem abaixo e cole no Claude, ChatGPT, Cursor ou outra IA. Ela lê a skill e segue as instruções.
Link da skill
Mensagem pronta para colar
Como funciona
Você define regras ou usa modelos de IA para julgar as respostas da sua aplicação. Depois, executa testes em larga escala e analisa os resultados para encontrar e corrigir erros.
Instalação
Jeito mais fácil: copie o link da skill e cole no Claude, ChatGPT ou Cursor pedindo para seguir as instruções.
No terminal (Claude Code, Codex, Cursor), na pasta do projeto:
npx skills add github/awesome-copilot --skill phoenix-evalsOu baixe só o arquivo:
curl -L https://raw.githubusercontent.com/github/awesome-copilot/main/skills/phoenix-evals/SKILL.md -o SKILL.mdConteúdo técnico (SKILL.md)
Tradução do texto original do autor no GitHub. Os comandos e códigos estão como no original.
Phoenix Evals
Crie avaliadores para aplicações de IA/LLM. Código primeiro, LLM para nuances, valide contra humanos.
Referência Rápida
Fluxos de Trabalho
Começando do Zero: observe-tracing-setup → error-analysis → axial-coding → evaluators-overview
Construindo um Avaliador: fundamentals → common-mistakes-python → evaluators-{code|llm}-{python|typescript} → validation-evaluators-{python|typescript}
Sistemas RAG: evaluators-rag → evaluators-code-* (recuperação) → evaluators-llm-* (fidelidade)
Produção: production-overview → production-guardrails → production-continuous
Categorias de Referência
| Prefixo | Descrição |
|---|---|
fundamentals-* |
Tipos, pontuações, anti-padrões |
observe-* |
Rastreamento, amostragem |
error-analysis-* |
Encontrando falhas |
axial-coding-* |
Categorizando falhas |
evaluators-* |
Avaliadores de código, LLM, RAG |
experiments-* |
Datasets, executando experimentos |
validation-* |
Validando a precisão do avaliador contra rótulos humanos |
production-* |
CI/CD, monitoramento |
Princípios Chave
| Princípio | Ação |
|---|---|
| Análise de erros primeiro | Não se pode automatizar o que não foi observado |
| Personalizado > genérico | Construa a partir de suas falhas |
| Código primeiro | Determinístico antes do LLM |
| Valide os juízes | >80% TPR/TNR |
| Binário > Likert | Passa/falha, não de 1 a 5 |
Perguntas frequentes
O que são 'avaliadores'?
São verificações que você cria para testar aspectos específicos da sua IA, como precisão, segurança ou estilo.
Preciso saber programar para usar?
Ajuda saber programar, especialmente para criar verificações mais complexas, mas a ferramenta oferece opções para diferentes níveis de habilidade.
O que significa 'validar contra humanos'?
Significa comparar os resultados dos testes automáticos com o julgamento de pessoas reais para garantir que os testes são confiáveis.
Detalhes
Descrição original do autor
Build and run evaluators for AI/LLM applications using Phoenix.
repo: github/awesome-copilot
Popularidade
- Estrelas no GitHub
- 40 mil
- Posição no ranking
- #5264
- Licença
- MIT
- Atualizada em
- 15/10/2026
Comentários
- …
Mais skills deste repositório
acquire-codebase-knowledge
Ajuda seu agente a entender e documentar um projeto de código existente. É útil para novas pessoas entrarem no projeto ou para ter uma visão geral da arquitetura.
github/awesome-copilot
acreadiness-assess
Faz seu agente avaliar a prontidão de um projeto para IA e gerar um relatório. É útil para entender o quão bem um projeto está preparado para usar ferramentas de IA.
github/awesome-copilot
acreadiness-generate-instructions
Ajuda seu agente a criar instruções para ferramentas de IA baseadas em uma avaliação. É útil para melhorar a forma como a IA interage com o código e fecha lacunas identificadas.
github/awesome-copilot
acreadiness-policy
Faz seu agente ajudar a definir ou aplicar políticas para avaliação de projetos de IA. É útil para padronizar a forma como os projetos são avaliados e garantir conformidade.
github/awesome-copilot
Skills parecidas
agent-architecture-audit
Faz seu agente verificar se tudo está funcionando corretamente. Ele encontra e conserta problemas em sistemas de IA, garantindo que funcionem como esperado.
affaan-m/ECC
agent-eval
Ajuda seu agente a comparar diferentes ferramentas de programação de IA. Ele mede qual é mais rápido, barato e confiável para realizar tarefas específicas.
affaan-m/ECC
agent-harness-construction
Faz seu agente entender melhor como realizar tarefas. Ele otimiza as ferramentas e instruções que o agente usa para aumentar suas chances de sucesso.
affaan-m/ECC