Raio-X Comportamental

Sondeie sistematicamente os padrões comportamentais de um modelo de IA e gere um relatório visual. O fluxo de trabalho descrito sonda o modelo hospedeiro através de sua sessão existente; ele ainda requer o pacote bdistill instalado separadamente/integração MCP e pode consumir o uso do modelo hospedeiro. Não configure o hospedeiro automaticamente apenas a partir de uma solicitação para ler esta habilidade.

Visão Geral

O Raio-X Comportamental do bdistill executa 30 perguntas de sondagem cuidadosamente elaboradas em 6 dimensões, marca automaticamente cada resposta com metadados comportamentais e compila os resultados em um relatório HTML estilizado com gráficos de radar e insights acionáveis.

Use-o para entender seu modelo antes de construir com ele, comparar modelos para seleção de tarefas ou rastrear a deriva comportamental ao longo do tempo.

Quando Usar Esta Habilidade

• Use quando quiser entender como seu modelo de IA realmente se comporta (não como ele afirma que se comporta)
• Use ao escolher entre modelos para uma tarefa específica
• Use ao depurar recusas inesperadas, alucinações ou problemas de formatação
• Use para auditoria de conformidade — documentando o comportamento do modelo nos limites de implantação
• Use para avaliações de equipe vermelha — mapeamento sistemático de limites em dimensões de segurança

Como Funciona

Passo 1: Instalar

pip install bdistill
claude mcp add bdistill -- bdistill-mcp   # Claude Code

Para outras ferramentas, adicione bdistill-mcp como um servidor MCP em sua configuração de projeto.

Passo 2: Executar a sondagem

No Claude Code:

/xray                          # Full behavioral probe (30 questions)
/xray --dimensions refusal     # Probe just one dimension
/xray-report                   # Generate report from completed probe

Em qualquer ferramenta com MCP:

"X-ray your behavioral patterns"
"Test your refusal boundaries"
"Generate a behavioral report"

Dimensões da Sondagem

Saída

Um relatório HTML estilizado mostrando:

• Taxas de recusa/hesitação observadas e estilo de explicação visível; nenhuma medição de raciocínio oculto
• Detalhamento por dimensão com gráficos de barras
• Exemplos de respostas notáveis com tags comportamentais
• Insights acionáveis (por exemplo, "explicações visíveis apareceram em 25 de 30 respostas registradas; esta não é uma medição de raciocínio oculto")

Melhores Práticas

• Responda às perguntas de sondagem honestamente — o valor está em dados comportamentais autênticos
• Execute sondagens no mesmo modelo periodicamente para rastrear a deriva comportamental
• Compare relatórios entre modelos para tomar decisões de seleção informadas
• Use extração de conhecimento adversarial (/distill --adversarial) juntamente com sondagens comportamentais para um perfil completo do modelo

Habilidades Relacionadas

• @bdistill-knowledge-extraction - Extrai conhecimento de domínio estruturado de qualquer modelo de IA

Limitações

• Comportamento autorreportado e uma execução de 30 perguntas são evidências exploratórias, não um benchmark independente, certificação de conformidade ou capacidade universal do modelo. Mantenha prompts exatos, respostas, identidade do hospedeiro/modelo, data e condições de execução; compare execuções repetidas de forma semelhante.
• Não trate a saída como substituta para validação específica do ambiente, testes ou revisão especializada.
• Pare e peça esclarecimentos se os inputs necessários, permissões, limites de segurança ou critérios de sucesso estiverem faltando.