arize-evaluator
Ajuda seu agente a configurar e executar avaliações de LLM usando um modelo como juiz. Ele gerencia tarefas e monitora continuamente o desempenho.
O que ela faz
Essa ferramenta ajuda a configurar e rodar avaliações automáticas de modelos de linguagem (IA) usando outra IA como juiz. Ela permite definir como a IA juíza deve avaliar as respostas, como verificar se são verdadeiras ou relevantes, e depois roda essa avaliação em seus dados.
Quando usar
- ✓Quando você quer verificar se a IA está 'inventando' informações (alucinação).
- ✓Para garantir que as respostas da IA são corretas e relevantes para a pergunta.
- ✓Ao comparar diferentes versões de um modelo de IA para ver qual é melhor.
Exemplo do que pedir para a IA
“Configure um avaliador para verificar se as respostas da IA são fiéis ao contexto fornecido.”
Quer saber mais? Abra as seções abaixo.
Como usar
O jeito mais fácil: copie a mensagem abaixo e cole no Claude, ChatGPT, Cursor ou outra IA. Ela lê a skill e segue as instruções.
Link da skill
Mensagem pronta para colar
Como funciona
Você define o que a IA juíza deve procurar (o 'avaliador') e como ela deve verificar os dados (o 'mapeamento de colunas'). Depois, você roda uma 'tarefa' que aplica esse avaliador aos seus dados, gerando notas e explicações.
Instalação
Jeito mais fácil: copie o link da skill e cole no Claude, ChatGPT ou Cursor pedindo para seguir as instruções.
No terminal (Claude Code, Codex, Cursor), na pasta do projeto:
npx skills add github/awesome-copilot --skill arize-evaluatorOu baixe só o arquivo:
curl -L https://raw.githubusercontent.com/github/awesome-copilot/main/skills/arize-evaluator/SKILL.md -o SKILL.mdConteúdo técnico (SKILL.md)
Tradução do texto original do autor no GitHub. Os comandos e códigos estão como no original.
Habilidade Arize Evaluator
SPACE— Todas as flags--spacee a variável de ambienteARIZE_SPACEaceitam um nome de espaço (ex:my-workspace) ou um ID de espaço em base64 (ex:U3BhY2U6...). Encontre o seu comax spaces list.
Esta habilidade abrange o design, a criação e a execução de avaliadores LLM-as-judge no Arize. Um avaliador define o juiz; uma tarefa é como você a executa contra dados reais.
Pré-requisitos
Prossiga diretamente com a tarefa — execute o comando ax que você precisa. NÃO verifique versões, variáveis de ambiente ou perfis antecipadamente.
Se um comando ax falhar, solucione o problema com base no erro:
- Erro de
command not foundou de versão → consulte references/ax-setup.md 401 Unauthorized/ chave de API ausente → executeax profiles showpara inspecionar o perfil atual. Se o perfil estiver ausente ou a chave de API estiver incorreta, siga references/ax-profiles.md para criá-lo/atualizá-lo. Se o usuário não tiver a chave, direcione-o para https://app.arize.com/admin > API Keys- Espaço desconhecido → execute
ax spaces listpara escolher por nome, ou pergunte ao usuário - Chamada do provedor LLM falha (OPENAI_API_KEY / ANTHROPIC_API_KEY ausente) → execute
ax ai-integrations list --space SPACEpara verificar credenciais gerenciadas pela plataforma. Se não houver nenhuma, peça ao usuário para fornecer a chave ou criar uma integração através da habilidade arize-ai-provider-integration - Segurança: Nunca leia arquivos
.envou procure credenciais no sistema de arquivos. Useax profilespara credenciais Arize eax ai-integrationspara chaves de provedor LLM. Se as credenciais não estiverem disponíveis através desses canais, pergunte ao usuário. - CRÍTICO — Nunca fabrique resultados de avaliação: Se uma tarefa de avaliação falhar, for cancelada ou não produzir pontuações, relate a falha claramente e explique o que deu errado. NÃO realize uma "avaliação manual", invente pontuações de qualidade, estime porcentagens ou apresente qualquer análise gerada pelo agente como se tivesse vindo do sistema de avaliação Arize. Em vez disso, sugira: (1) corrigir o problema identificado e tentar novamente, (2) tentar executar pela interface do Arize, (3) verificar as credenciais de integração com
ax ai-integrations list, (4) entrar em contato com o suporte em https://arize.com/support
Conceitos
O que é um Avaliador?
Um avaliador é uma definição de LLM-as-judge. Ele contém:
| Campo | Descrição |
|---|---|
| Template | O prompt do juiz. Usa placeholders {variable} (ex: {input}, {output}, {context}) que são preenchidos em tempo de execução através dos mapeamentos de coluna de uma tarefa. |
| Classificação de escolhas | O conjunto de rótulos de saída permitidos (ex: factual / hallucinated). Binário é o padrão e o mais comum. Cada escolha pode opcionalmente carregar uma pontuação numérica. |
| Integração de IA | Credenciais do provedor LLM armazenadas (OpenAI, Anthropic, Bedrock, etc.) que o avaliador usa para chamar o modelo juiz. |
| Modelo | O modelo juiz específico (ex: gpt-4o, claude-sonnet-4-5). |
| Parâmetros de invocação | JSON opcional de configurações do modelo como {"temperature": 0}. Baixa temperatura é recomendada para reprodutibilidade. |
| Direção de otimização | Se pontuações mais altas são melhores (maximize) ou piores (minimize). Define como a interface do usuário renderiza tendências. |
| Granularidade dos dados | Se o avaliador é executado no nível de span, trace ou session. A maioria dos avaliadores é executada no nível de span. |
Os avaliadores são versionados — cada alteração de prompt ou modelo cria uma nova versão imutável. A versão mais recente está ativa.
O que é uma Tarefa?
Uma tarefa é como você executa um ou mais avaliadores contra dados reais. As tarefas são anexadas a um projeto (traces/spans ao vivo) ou a um dataset (execuções de experimentos). Uma tarefa contém:
| Campo | Descrição |
|---|---|
| Avaliadores | Lista de avaliadores a serem executados. Você pode executar vários em uma única tarefa. |
| Mapeamentos de coluna | Mapeia as variáveis de template de cada avaliador para caminhos de campo reais em spans ou execuções de experimentos (ex: "input" → "attributes.input.value"). É isso que torna os avaliadores portáteis entre projetos e experimentos. |
| Filtro de consulta | Expressão no estilo SQL para selecionar quais spans/execuções avaliar (ex: "span_kind = 'LLM'"). Opcional, mas importante para precisão. |
| Contínuo | Para tarefas de projeto: se deve pontuar automaticamente novos spans à medida que chegam. |
| Taxa de amostragem | Para tarefas de projeto contínuas: fração de novos spans a serem avaliados (0–1). |
Granularidade dos Dados
…
Perguntas frequentes
O que é um 'avaliador'?
É a configuração de como uma IA vai julgar as respostas de outra IA. Inclui o 'prompt' (instrução) para a IA juíza, as possíveis respostas (ex: 'correto', 'incorreto') e qual modelo de IA usar.
O que é uma 'tarefa'?
É a ação de rodar um ou mais avaliadores em seus dados. Uma tarefa define quais avaliadores usar, como conectar as informações dos seus dados com as instruções do avaliador e quais dados específicos avaliar.
Como a ferramenta lida com erros ou falta de resultados?
Se a avaliação falhar, a ferramenta informa o problema claramente e não inventa resultados. Ela sugere corrigir o problema, tentar pela interface web da Arize, verificar as credenciais ou contatar o suporte.
Detalhes
Descrição original do autor
Handles LLM-as-judge evaluation workflows on Arize including creating/updating evaluators, running evaluations on spans or experiments, managing tasks, trigger-run operations, column mapping, and continuous monitoring. Use when the user mentions create evaluator, LLM judge, hallucination, faithfulness, correctness, relevance, run eval, score spans, score experiment, trigger-run, column mapping, co
repo: github/awesome-copilot
Popularidade
- Estrelas no GitHub
- 40 mil
- Posição no ranking
- #5003
- Licença
- MIT
- Atualizada em
- 15/10/2026
Comentários
- …
Mais skills deste repositório
acquire-codebase-knowledge
Ajuda seu agente a entender e documentar um projeto de código existente. É útil para novas pessoas entrarem no projeto ou para ter uma visão geral da arquitetura.
github/awesome-copilot
acreadiness-assess
Faz seu agente avaliar a prontidão de um projeto para IA e gerar um relatório. É útil para entender o quão bem um projeto está preparado para usar ferramentas de IA.
github/awesome-copilot
acreadiness-generate-instructions
Ajuda seu agente a criar instruções para ferramentas de IA baseadas em uma avaliação. É útil para melhorar a forma como a IA interage com o código e fecha lacunas identificadas.
github/awesome-copilot
acreadiness-policy
Faz seu agente ajudar a definir ou aplicar políticas para avaliação de projetos de IA. É útil para padronizar a forma como os projetos são avaliados e garantir conformidade.
github/awesome-copilot
Skills parecidas
speech
Ajuda seu agente a transformar texto em áudio falado. É útil para criar narrações, áudios de aulas ou locuções rápidas.
nexu-io/open-design
Docker Hub Automation
Faz seu agente automatizar operações no Docker Hub. Gerencia repositórios, equipes e webhooks para seus contêineres.
ComposioHQ/awesome-claude-skills
New Relic Automation
Ajuda seu agente a automatizar tarefas no New Relic. Ele pode gerenciar alertas, monitorar aplicações e configurar notificações.
ComposioHQ/awesome-claude-skills