Arize Experiment Skill

SPACE — Todas as flags --space e a variável de ambiente ARIZE_SPACE aceitam um nome de espaço (ex: my-workspace) ou um ID de espaço em base64 (ex: U3BhY2U6...). Encontre o seu com ax spaces list.

Conceitos

• Experimento = uma execução de avaliação nomeada contra uma versão específica de dataset, contendo uma execução por exemplo
• Execução de Experimento = o resultado do processamento de um exemplo de dataset — inclui a saída do modelo, avaliações opcionais e metadados opcionais
• Dataset = uma coleção versionada de exemplos; cada experimento está vinculado a um dataset e a uma versão específica do dataset
• Avaliação = uma métrica nomeada anexada a uma execução (ex: correctness, relevance), com rótulo, pontuação e explicação opcionais

O fluxo típico: exportar um dataset → processar cada exemplo → coletar saídas e avaliações → criar um experimento com as execuções.

Pré-requisitos

Prossiga diretamente com a tarefa — execute o comando ax que você precisa. NÃO verifique versões, variáveis de ambiente ou perfis antecipadamente.

Se um comando ax falhar, solucione com base no erro:

• command not found ou erro de versão → veja references/ax-setup.md
• 401 Unauthorized / chave de API ausente → execute ax profiles show para inspecionar o perfil atual. Se o perfil estiver ausente ou a chave de API estiver incorreta, siga references/ax-profiles.md para criá-lo/atualizá-lo. Se o usuário não tiver a chave, direcione-o para https://app.arize.com/admin > API Keys
• Espaço desconhecido → execute ax spaces list para escolher por nome, ou pergunte ao usuário
• Projeto incerto → pergunte ao usuário, ou execute ax projects list -o json --limit 100 e apresente como opções selecionáveis
• Segurança: Nunca leia arquivos .env ou procure no sistema de arquivos por credenciais. Use ax profiles para credenciais Arize e ax ai-integrations para chaves de provedores de LLM. Se as credenciais não estiverem disponíveis através desses canais, pergunte ao usuário.
• CRÍTICO — Nunca fabrique saídas: Ao executar um experimento, você DEVE chamar a API real do modelo especificada pelo usuário para cada exemplo de dataset. Nunca fabrique, simule ou codifique diretamente saídas de modelo, latências ou pontuações de avaliação. Se você não puder chamar a API (SDK ausente, credenciais ausentes, erro de rede), pare e diga ao usuário o que é necessário antes de prosseguir.

Listar Experimentos: ax experiments list

Navegue por experimentos, opcionalmente filtrados por dataset. A saída vai para stdout.

ax experiments list
ax experiments list --dataset DATASET_NAME --space SPACE --limit 20   # DATASET_NAME: name or ID (name preferred)
ax experiments list --cursor CURSOR_TOKEN
ax experiments list -o json

Flags

Obter Experimento: ax experiments get

Consulta rápida de metadados — retorna o nome do experimento, dataset/versão vinculados e timestamps.

ax experiments get NAME_OR_ID
ax experiments get NAME_OR_ID -o json
ax experiments get NAME_OR_ID --dataset DATASET_NAME --space SPACE   # required when using experiment name instead of ID

Flags

Campos de resposta

Exportar Experimento: ax experiments export

Baixa todas as execuções para um arquivo. Por padrão, usa a API REST; passe --all para usar Arrow Flight para transferência em massa.

…