Criação de Testes de QA de Agente

Visão Geral

Crie testes, suítes e hooks de QA de Agente sem inventar campos de esquema ou identificadores. Prefira as ferramentas MCP do QA de Agente, use a referência de contrato incluída para campos exatos e valide cada definição antes de salvá-la ou executá-la.

Quando Usar

• Criando ou editando um teste, suíte ou hook de QA de Agente.
• Validando IDs canônicos ou YAML de QA de Agente.
• Executando uma definição de QA de Agente recém-criada através do MCP ou CLI.
• Investigando quais campos de configuração de QA de Agente ou padrões de workspace se aplicam.

Pré-requisitos e Limite de Aprovação

• Trabalhe apenas em um workspace de QA de Agente configurado que o usuário autorizou.
• Inspecione o escopo solicitado antes de qualquer operação de criação, atualização, exclusão ou execução de teste.
• Obtenha confirmação explícita antes de excluir uma definição ou executar um teste que possa alterar o estado de aplicativos externos.
• Mantenha credenciais fora das definições e saídas; use o tratamento de segredos configurado do workspace.

Fluxo de Trabalho

1. Descubra a superfície local com agent_qa_discover.
2. Inspecione a configuração ativa com agent_qa_get_config, especialmente alvos, dispositivos, provedores e services.mcp.
3. Carregue references/agent-qa-contracts.json quando campos de esquema exatos ou contratos de ID forem necessários.
4. Gere todos os novos IDs com as ferramentas de QA de Agente:
   • MCP: agent_qa_generate_id
   • Fallback da CLI: agent-qa ids generate <test|suite|hook|run|observation>
   • Se nenhuma das superfícies já estiver instalada, pare e peça ao usuário para aprovar uma instalação exata do QA de Agente. Não busque e execute o pacote em tempo de execução através de npx ou outra referência de pacote em movimento.
5. Nunca escreva IDs manualmente. Valide IDs existentes com agent_qa_validate_id ou agent-qa ids validate <type> <id> --json.
6. Valide definições antes de salvar:
   • Testes: agent_qa_validate_test ou agent_qa_validate_definition com kind: "test"
   • Suítes: agent_qa_validate_suite ou agent_qa_validate_definition com kind: "suite"
   • Hooks: agent_qa_validate_definition com kind: "hooks"
7. Prefira mutações de criação do MCP:
   • Testes: agent_qa_create_test, agent_qa_update_test, agent_qa_delete_test
   • Suítes: agent_qa_create_suite, agent_qa_update_suite, agent_qa_delete_suite
   • Hooks: agent_qa_create_hook, agent_qa_update_hook, agent_qa_delete_hook
8. Use fallback de CLI ou YAML apenas quando o MCP não estiver disponível. Mantenha os caminhos de arquivo correspondentes por workspace.testMatch ou workspace.suiteMatch.

Contratos de ID Necessários

• IDs de Teste: t_ mais 10 palavras id-agent.
• IDs de Suíte: s_ mais 10 palavras id-agent.
• IDs de Hook: h_ mais 10 palavras id-agent.
• IDs de Execução: r_ mais 10 palavras id-agent.
• IDs de Observação: obs_ mais 10 palavras id-agent.

Antes de Executar

• Valide o YAML primeiro.
• Prefira agent_qa_enqueue_test_run e agent_qa_enqueue_suite_run em vez de sair para o shell.
• Se estiver usando o fallback da CLI, execute apenas após a validação ser bem-sucedida.
• Reconfirme o alvo e o ambiente quando um teste puder mutar dados reais ou acionar ações externas.

Exemplo

User: Add an Agent QA checkout test for the staging target and validate it, but do not run it yet.

Expected handling: discover the workspace, inspect the staging target, generate the test ID,
create the smallest valid definition, validate it, and stop before enqueueing a run.

Limitações

• Requer um workspace de QA de Agente instalado e configurado, mais quaisquer dependências de navegador, mobile, provedor de modelo ou aplicativo usadas pelo alvo selecionado.
• Não infere chaves de configuração não documentadas, seletores, estados de UI, credenciais ou dados de teste.
• A disponibilidade e as permissões do MCP variam por workspace; declare qual fallback de CLI ou YAML foi usado.
• A validação prova a compatibilidade do esquema, não que o comportamento do aplicativo ou o ambiente externo sejam seguros para exercitar.

Não Faça

• Não invente chaves de configuração ou use buckets de configuração raiz legados.
• Não escreva IDs manualmente.
• Não altere arquivos fora dos padrões de workspace configurados.
• Não execute cenários destrutivos ou voltados para produção sem o escopo e a confirmação explícitos do usuário.