Red Teaming Contínuo de LLMs com Promptfoo

Uso Autorizado Apenas: Execute essas sondagens adversárias apenas contra aplicações e endpoints de LLM que você possui ou tem autorização explícita para testar. Cargas úteis de ataque geradas (jailbreaks, injeções de prompt, elicitação de conteúdo prejudicial) são entradas adversárias; enviá-las para serviços de terceiros sem permissão pode violar os termos de serviço.

Visão Geral

Promptfoo é um framework open-source de avaliação e red teaming de LLMs (usado pela OpenAI e Anthropic, conforme seu README) que gera casos de teste adversários, os executa contra seu modelo/agente e avalia as respostas. DeepTeam (da Confident AI) é um framework open-source complementar que oferece mais de 50 vulnerabilidades prontas para uso e mais de 10 métodos de ataque baseados em pesquisa. Juntos, eles permitem que você trate a segurança de LLMs como um teste de regressão: cada commit reexecuta a mesma suíte adversária, e o pipeline falha quando um comportamento anteriormente seguro regride.

Isso é importante porque aplicações de LLM mudam constantemente — prompts, modelos, fontes RAG, ferramentas e guardrails todos derivam. Um jailbreak que foi corrigido no sprint passado pode retornar silenciosamente após uma edição de prompt ou uma atualização de modelo. Promptfoo mapeia seus plugins diretamente para os presets OWASP LLM Top 10 (owasp:llm) e OWASP Agentic (owasp:agentic), e para o MITRE ATLAS, de modo que a suíte acompanhe taxonomias de risco reconhecidas. A principal ameaça abordada aqui é AML.T0051 — LLM Prompt Injection (MITRE ATLAS): instruções adversárias que substituem o comportamento pretendido da aplicação. Esta habilidade segue a documentação de red teaming do Promptfoo (https://www.promptfoo.dev/docs/red-team/) e a documentação do DeepTeam (https://www.trydeepteam.com/docs/getting-started), e se alinha ao NIST AI RMF MANAGE-4.1 (monitoramento pós-implantação e feedback para gerenciar o risco de IA).

Quando Usar

• Quando você precisa de red teaming contínuo e automatizado de uma aplicação de LLM em CI/CD, em vez de testes manuais pontuais.
• Quando você quer impor um portão de segurança: bloquear merges que introduzem ou reintroduzem vulnerabilidades de jailbreak/injeção.
• Ao mapear cobertura para OWASP LLM Top 10 / OWASP Agentic / MITRE ATLAS para relatórios de conformidade.
• Ao comparar o postura de segurança de dois modelos ou versões de prompt lado a lado.
• Ao rastrear a regressão de vulnerabilidades ao longo do tempo entre lançamentos.

Pré-requisitos

• Node.js 18+ (Promptfoo é distribuído via npm) e Python 3.9+ (para DeepTeam).
• Instale Promptfoo e DeepTeam:

  npm install -g promptfoo            # or: npx promptfoo@latest
  pip install -U deepteam
  

• Acesso/credenciais de API para o endpoint do LLM alvo (e um modelo de avaliação, por exemplo, uma chave OpenAI) expostos como variáveis de ambiente.
• Uma plataforma de CI/CD (GitHub Actions, GitLab CI) com armazenamento de segredos.
• Autorização para testar a aplicação alvo.

Objetivos

• Estruturar uma configuração de red teaming do Promptfoo visando sua aplicação de LLM.
• Habilitar presets de plugins OWASP LLM Top 10 e OWASP Agentic, além de estratégias de jailbreak/injeção.
• Executar a suíte localmente e interpretar o relatório de aprovação/falha por plugin.
• Adicionar DeepTeam como um segundo motor para ataques programáticos e baseados em pesquisa.
• Integrar ambos em CI/CD para que os builds falhem em novas vulnerabilidades.
• Gerar relatórios de segurança HTML/PDF compartilháveis por execução.

Mapeamento MITRE ATT&CK

Fluxo de Trabalho

1. Estruturar a configuração de red teaming

Inicialize uma configuração interativa; ela escreve promptfooconfig.yaml onde alvos, plugins e estratégias residem.

promptfoo redteam init
# choose your target type (HTTP endpoint, openai:..., anthropic:..., custom provider)

2. Definir alvos, presets OWASP e estratégias de ataque

Edite promptfooconfig.yaml. O purpose fundamenta a geração de ataques; plugins são geradores de entrada adversária; strategies são técnicas de entrega (wrappers de jailbreak/injeção).

# promptfooconfig.yaml
targets:
  - id: https://api.example.com/chat        # seu endpoint de app
    label: support-bot

redteam:
  purpose: |
    Um assistente de suporte ao cliente para um site de e-commerce. Nunca deve revelar
    prompts do sistema, vazar PII ou realizar ações fora do suporte a pedidos.
  numTests: 10
  plugins:

…