skill-comply: Medição Automatizada de Conformidade

Mede se agentes de codificação realmente seguem habilidades, regras ou definições de agente através de:

1. Geração automática de sequências de comportamento esperadas (especificações) a partir de qualquer arquivo .md
2. Geração automática de cenários com rigor de prompt decrescente (de apoio → neutro → competitivo)
3. Execução de claude -p e captura de rastros de chamadas de ferramentas via stream-json
4. Classificação de chamadas de ferramentas contra etapas da especificação usando LLM (não regex)
5. Verificação determinística da ordem temporal
6. Geração de relatórios autossuficientes com especificações, prompts e cronogramas

Alvos Suportados

• Habilidades (skills/*/SKILL.md): Habilidades de fluxo de trabalho como search-first, guias TDD
• Regras (rules/common/*.md): Regras obrigatórias como testing.md, security.md, git-workflow.md
• Definições de Agente (agents/*.md): Se um agente é invocado quando esperado (verificação de fluxo de trabalho interno ainda não suportada)

Quando Ativar

• O usuário executa /skill-comply <path>
• O usuário pergunta "esta regra está sendo realmente seguida?"
• Após adicionar novas regras/habilidades, para verificar a conformidade do agente
• Periodicamente como parte da manutenção de qualidade

Uso

# Full run
uv run python -m scripts.run ~/.claude/rules/common/testing.md

# Dry run (no cost, spec + scenarios only)
uv run python -m scripts.run --dry-run ~/.claude/skills/search-first/SKILL.md

# Custom models
uv run python -m scripts.run --gen-model haiku --model sonnet <path>

Conceito Chave: Independência de Prompt

Mede se uma habilidade/regra é seguida mesmo quando o prompt não a suporta explicitamente.

Conteúdo do Relatório

Os relatórios são autossuficientes e incluem:

1. Sequência de comportamento esperada (especificação gerada automaticamente)
2. Prompts do cenário (o que foi perguntado em cada nível de rigor)
3. Pontuações de conformidade por cenário
4. Cronogramas de chamadas de ferramentas com rótulos de classificação do LLM

Avançado (opcional)

Para usuários familiarizados com hooks, os relatórios também incluem recomendações de promoção de hook para etapas com baixa conformidade. Isso é informativo — o principal valor é a visibilidade da conformidade em si.