Configuração de Teste A/B

1️⃣ Propósito e Escopo

Defina um experimento que possa responder a uma pergunta específica do produto e verifique suas suposições antes de expor os usuários. Este procedimento não pode garantir a validade por si só.

• Documenta a regra de parada
• Estima a necessidade de amostra sob suposições declaradas
• Torna a hipótese e os critérios de decisão revisáveis

2️⃣ Pré-requisitos

Você deve ter:

• Um problema claro do usuário
• Acesso a uma fonte de análise
• Volume de tráfego aproximadamente estimado

Checklist de Qualidade da Hipótese

Uma hipótese válida inclui:

• Observação ou evidência
• Mudança única e específica
• Expectativa direcional
• Público definido
• Critérios de sucesso mensuráveis

3️⃣ Bloqueio de Hipótese (Portão Rígido)

Antes de projetar variantes ou métricas, você DEVE:

• Apresentar a hipótese final
• Especificar:
  • Público-alvo
  • Métrica primária
  • Direção esperada do efeito
  • Efeito Mínimo Detectável (MDE)

Use a hipótese já acordada na tarefa. Se uma escolha crítica para o lançamento estiver faltando, apresente a escolha concreta para confirmação enquanto continua a análise independente. Não solicite repetidamente aprovação para uma decisão já autorizada.

4️⃣ Suposições e Verificação de Validade (Obrigatório)

Liste explicitamente as suposições sobre:

• Estabilidade do tráfego
• Independência do usuário
• Confiabilidade da métrica
• Qualidade da aleatorização
• Fatores externos (sazonalidade, campanhas, lançamentos)

Se as suposições forem fracas ou violadas:

• Avise o usuário
• Recomende adiar ou redesenhar o teste

5️⃣ Seleção do Tipo de Teste

Escolha o teste válido mais simples:

• Teste A/B – mudança única, duas variantes
• Teste A/B/n – múltiplas variantes, tráfego maior necessário
• Teste Multivariado (MVT) – efeitos de interação, tráfego muito alto
• Teste de URL Dividido – grandes mudanças estruturais

Use A/B como padrão, a menos que haja uma razão clara para o contrário.

6️⃣ Definição de Métricas

Métrica Primária (Obrigatório)

• Métrica única usada para avaliar o sucesso
• Diretamente ligada à hipótese
• Pré-definida e congelada antes do lançamento

Métricas Secundárias

• Fornecem contexto
• Explicam por que os resultados ocorreram
• Não devem substituir a métrica primária

Métricas de Proteção (Guardrail Metrics)

• Métricas que não devem degradar
• Usadas para evitar vitórias prejudiciais
• Disparam a parada do teste se significativamente negativas

7️⃣ Tamanho da Amostra e Duração

Defina antecipadamente:

• Taxa de base
• MDE
• Nível de significância alfa (geralmente 0.05, correspondendo a 95% de confiança)
• Poder estatístico (tipicamente 80%)

Estime:

• Tamanho da amostra necessário por variante
• Duração esperada do teste

NÃO prossiga sem uma estimativa realista do tamanho da amostra.

Verificação de Rastreamento (Obrigatório antes do Portão 8)

Antes de entrar no Portão de Prontidão de Execução abaixo, execute esta checklist para que "Rastreamento verificado" signifique algo concreto:

1. Disparo de eventos: Dispare cada evento do qual as métricas primária e secundárias dependem (cadastro, adicionar ao carrinho, evento personalizado) em staging ou em uma página de depuração e confirme que ele chega dentro da latência documentada do pipeline; registre o atraso observado.
2. Atribuição de variante: Verifique se o ID de atribuição da variante está anexado a cada evento disparado — não apenas ao evento de entrada. Use a visualização de eventos brutos da sua ferramenta de análise para comparar uma amostra de 5+ eventos por variante.
3. Desduplicação: Confirme que um usuário recarregando a página não causa eventos contados em duplicidade. Use um ID de evento/transação estável e documente a desduplicação entre cliente/servidor; um rótulo de variante sozinho não é uma chave de evento única.
4. Aleatorização da amostra: Verifique a correspondência da proporção da amostra em relação à alocação configurada com uma verificação estatística pré-especificada e registros adequados. Uma banda fixa de ±5% em 100 registros não é um teste de aleatorização universal válido. Inspecione a estabilidade da atribuição, a independência da unidade e os registros de exposição ausentes.
5. Pipeline de métricas de proteção: Cada métrica de proteção definida na §6️⃣ deve ter um dashboard ou alerta funcionando no momento em que o teste for lançado.

Se algum dos itens acima falhar, pare e resolva antes do Portão 8.

8️⃣ Portão de Prontidão de Execução (Parada Rígida)

Você pode prosseguir para a implementação SOMENTE SE TODAS AS CONDIÇÕES FOREM VERDADEIRAS:

• Hipótese bloqueada
• Métrica primária congelada
• Tamanho da amostra calculado
• Duração do teste definida
• Proteções configuradas
• Rastreamento verificado

Se algum item estiver faltando, pare e resolva.

Executando o Teste

Durante o Teste

FAÇA:

• Monitore a saúde técnica
• Documente fatores externos

NÃO FAÇA:

• Pare cedo devido a resultados "promissores"
• Altere variantes no meio do teste

…