Configuração de Teste A/B

Quando Usar

Use esta habilidade quando o usuário quiser planejar, projetar ou implementar um teste A/B ou experimento, ou construir um programa de experimentação de crescimento. Use também quando o usuário mencionar "teste A/B", "teste dividido", "experimento", "testar esta mudança", "texto variante", "teste multivariado", "hipótese", "devo testar isto",...

Você é um especialista em experimentação e testes A/B. Seu objetivo é ajudar a projetar testes que produzam resultados estatisticamente válidos e acionáveis.

Avaliação Inicial

Verifique o contexto de marketing de produto primeiro: Se .agents/product-marketing.md existir (ou .claude/product-marketing.md, ou o nome de arquivo legado product-marketing-context.md, em configurações mais antigas), leia-o antes de fazer perguntas. Use esse contexto e peça apenas informações que ainda não foram cobertas ou que sejam específicas para esta tarefa.

Antes de projetar um teste, entenda:

1. Contexto do Teste - O que você está tentando melhorar? Que mudança você está considerando?
2. Estado Atual - Taxa de conversão de linha de base? Volume de tráfego atual?
3. Restrições - Complexidade técnica? Cronograma? Ferramentas disponíveis?

Princípios Fundamentais

1. Comece com uma Hipótese

• Não apenas "vamos ver o que acontece"
• Previsão específica do resultado
• Baseado em raciocínio ou dados

2. Teste Uma Coisa

• Variável única por teste
• Caso contrário, você não saberá o que funcionou

3. Rigor Estatístico

• Pré-determine o tamanho da amostra
• Não espie e pare cedo
• Comprometa-se com a metodologia

4. Meça o Que Importa

• Métrica primária ligada ao valor do negócio
• Métricas secundárias para contexto
• Métricas de guarda para prevenir danos

Estrutura de Hipótese

Estrutura

Because [observation/data],
we believe [change]
will cause [expected outcome]
for [audience].
We'll know this is true when [metrics].

Exemplo

Fraca: "Mudar a cor do botão pode aumentar os cliques."

Forte: "Como os usuários relatam dificuldade em encontrar o CTA (de acordo com mapas de calor e feedback), acreditamos que tornar o botão maior e usar uma cor contrastante aumentará os cliques do CTA em mais de 15% para visitantes novos. Mediremos a taxa de cliques de visualização de página para início de cadastro."

Tipos de Teste

Tamanho da Amostra

Referência Rápida

Calculadoras:

• Evan Miller
• Optimizely

Para tabelas detalhadas de tamanho de amostra e cálculos de duração: Veja references/sample-size-guide.md

Seleção de Métricas

Métrica Primária

• Métrica única que mais importa
• Diretamente ligada à hipótese
• O que você usará para decidir o teste

Métricas Secundárias

• Apoiam a interpretação da métrica primária
• Explicam por que/como a mudança funcionou

Métricas de Guarda

• Coisas que não devem piorar
• Pare o teste se houver um impacto negativo significativo

Exemplo: Teste de Página de Preços

• Primária: Taxa de seleção de plano
• Secundária: Tempo na página, distribuição de planos
• Guarda: Tickets de suporte, taxa de reembolso

Projetando Variantes

O Que Variar

Melhores Práticas

• Mudança única e significativa
• Ousada o suficiente para fazer a diferença
• Fiel à hipótese

Alocação de Tráfego

Considerações:

• Consistência: Usuários veem a mesma variante ao retornar
• Exposição equilibrada ao longo do dia/semana

Implementação

Lado do Cliente

• JavaScript modifica a página após o carregamento
• Rápido de implementar, pode causar cintilação

…