Testes de Regressão de Prompts de IA

Quando Usar

• Compare uma mudança de prompt com uma linha de base observada em um conjunto de avaliação fixo.
• Detecte regressões de esquema, factualidade, recusa, seleção de ferramentas ou conclusão de tarefas.
• Registre uma decisão revisável quando os resultados forem ruidosos, ausentes ou contraditórios.

Fluxo de Trabalho

1. Defina a tarefa, casos representativos e resultados proibidos. Use dados sintéticos ou aprovados/redigidos; congele os IDs dos casos e a revisão do conjunto de dados antes das execuções.
2. Registre os resumos dos prompts de linha de base/candidato, o modelo/versão exato disponível, as configurações de inferência, as versões das ferramentas e o ambiente de avaliação. Não codifique opções antigas da família de modelos ou altere modelos silenciosamente entre as comparações.
3. Declare previamente as verificações e regras de aceitação. Use verificações determinísticas de esquema/campo para saída estruturada, verificações comportamentais para ferramentas e um padrão claro de humano/rubrica para texto aberto. A similaridade não prova a correção factual ou de código.
4. Execute casos de linha de base/candidato correspondentes sob as mesmas permissões e orçamento. Registre a latência/custo e execuções repetidas quando a variabilidade for importante. Um tempo limite, saída ausente ou erro do avaliador é incompleto, não uma aprovação ou um resultado de custo zero.
5. Trate as saídas do avaliador como evidências com limitações. Apresente de forma cega/aleatória quando viável, calibre contra exemplos rotulados por humanos e registre a identidade/rubrica do avaliador. Não peça a um modelo para verificar o raciocínio privado ou aceite a confiança de um avaliador como uma medida objetiva de correção.
6. Revise as diferenças caso a caso e relate os denominadores, falhas e incerteza. Mantenha as falhas obrigatórias de segurança/esquema visíveis mesmo que a similaridade agregada melhore. Use a regra pré-declarada, não um limite selecionado após os resultados.
7. Armazene um relatório redigido e artefatos exatos em um destino autorizado. Decida reter/revisar/rejeitar para o conjunto de dados declarado; a implantação é separada.

Registro de Regressão

IDs e status devem ter representações SQL/JSON/CSV consistentes. Não armazene prompts privados, mensagens de usuário ou tokens em uma planilha pública ou registro Notion.

Exemplo Trabalhado

Dois casos testam um prompt de resposta de suporte. PTEST-001 requer uma resposta fundamentada na política fornecida; PTEST-002 requer uma escalada estruturada quando a política está ausente. O candidato parece mais útil, mas PTEST-002 não tem resultado observado. O relatório está incompleto, não é uma vitória. O seguinte auxiliar Python 3 agrega os status de casos já revisados; ele não chama modelos nem decide a correção.

def summarize_regression(results, expected_case_ids):
    if not isinstance(expected_case_ids, list) or not expected_case_ids:
        return {"status": "incomplete", "reason": "missing case inventory"}
    if any(not isinstance(case, str) or not case for case in expected_case_ids):
        return {"status": "incomplete", "reason": "invalid case IDs"}
    if len(set(expected_case_ids)) != len(expected_case_ids):
        return {"status": "incomplete", "reason": "duplicate expected case IDs"}
    if not isinstance(results, list) or any(not isinstance(row, dict) for row in results):
        return {"status": "incomplete", "reason": "invalid results"}
    by_id = {}
    for row in results:
        case = row.get("case_id")
        if not isinstance(case, str) or case not in expected_case_ids or case in by_id:
            return {"status": "incomplete", "reason": "unexpected or duplicate result"}
        if row.get("result") not in ("pass", "fail", "incomplete"):
            return {"status": "incomplete", "reason": "unknown result"}
        by_id[case] = row["result"]

…