Orquestrando Ataques de LLM com PyRIT

Aviso Legal e de Uso Autorizado: PyRIT gera prompts adversariais e potencialmente prejudiciais para testar sistemas de IA. Use-o apenas contra modelos e endpoints que você possui ou tem autorização explícita para avaliar. Orquestradores de múltiplos turnos consomem um grande número de tokens tanto contra o modelo alvo quanto contra os modelos adversarial/de pontuação; considere os custos e os termos de serviço. O uso não autorizado é proibido.

Visão Geral

PyRIT (Python Risk Identification Tool for generative AI) é um framework de automação de código aberto da Equipe Vermelha de IA da Microsoft, distribuído em github.com/microsoft/PyRIT. Onde um scanner de tiro único envia um prompt e verifica a resposta, o PyRIT automatiza conversas adversariais de múltiplos turnos: um modelo atacante e um modelo pontuador colaboram em um loop para direcionar um modelo alvo para um objetivo definido (por exemplo, obter conteúdo restrito, vazar um prompt do sistema ou fazer um agente realizar uma chamada de ferramenta não autorizada). Isso espelha como adversários reais iteram contra um chatbot em vez de depender de um único prompt mágico.

O PyRIT é construído a partir de primitivas compostas. Targets (pyrit.prompt_target) encapsulam os sistemas que estão sendo sondados e os modelos auxiliares — OpenAIChatTarget, AzureMLChatTarget, HTTPTarget e outros. Orchestrators / attacks (pyrit.orchestrator) implementam estratégias de ataque; todas as estratégias de múltiplos turnos herdam de MultiTurnOrchestrator. As estratégias principais são RedTeamingOrchestrator (um loop genérico de chat adversarial), CrescendoOrchestrator (a técnica Crescendo — comece benigno e escale gradualmente para que cada turno pareça razoável isoladamente) e TreeOfAttacksWithPruningOrchestrator (TAP — ramifique várias linhas de ataque em paralelo, expanda as ramificações que o pontuador avalia como progredindo e elimine becos sem saída). Scorers (pyrit.score) como SelfAskTrueFalseScorer decidem se o objetivo foi atingido e realimentam esse julgamento no loop. Converters mutam prompts (base64, tradução, arte ASCII) para evadir filtros, e memory persiste cada turno para análise posterior.

Esta habilidade mapeia para as técnicas do MITRE ATLAS AML.T0051 (LLM Prompt Injection) e AML.T0054 (LLM Jailbreak) porque o PyRIT operacionaliza ambas em escala através de turnos de conversação, e suporta o NIST AI RMF MEASURE-2.7 ao produzir medições de segurança repetíveis e pontuadas de um sistema de IA.

Quando Usar

• Quando a varredura de tiro único (por exemplo, garak) encontra um modelo robusto a ataques de um único prompt e você precisa testar a escalada de múltiplos turnos (Crescendo) ou ramificação adaptativa (TAP).
• Ao avaliar um agente ou assistente conversacional onde o estado se acumula ao longo de um diálogo.
• Quando você precisa de um harness automatizado, impulsionado por pontuador, em vez de testes manuais prompt por prompt.
• Ao construir campanhas de red-teaming reproduzíveis com memória de conversação persistida para evidências e regressão.
• Ao avaliar se as barreiras de segurança se mantêm sob escalada gradual e plausivelmente negável.

Pré-requisitos

• Python 3.11+ (3.12/3.13 suportados); um ambiente virtual dedicado.
• Instale o PyRIT do PyPI:

  python -m venv .venv && source .venv/bin/activate   # Windows: .venv\Scripts\activate
  python -m pip install -U pyrit
  python -c "import pyrit; print(pyrit.__version__)"
  

• Credenciais/endpoints para: o modelo alvo, um modelo de chat adversarial (o atacante) e um modelo de pontuação (frequentemente o mesmo que o modelo adversarial). Para OpenAI/Azure, configure as variáveis de ambiente OPENAI_API_KEY / Azure OpenAI, ou use um arquivo .env que o PyRIT carrega.
• Autorização por escrito para testar o alvo.

Objetivos

• Inicializar a memória do PyRIT e configurar os endpoints alvo, adversarial e de pontuação.
• Executar um ataque genérico de chat adversarial com RedTeamingOrchestrator.
• Executar um ataque de escalada gradual com CrescendoOrchestrator.
• Executar um ataque de ramificação adaptativa com TreeOfAttacksWithPruningOrchestrator.
• Aplicar conversores de prompt para evadir filtros de entrada.
• Persistir e exportar a conversa completa para evidências e triagem.

Mapeamento MITRE ATT&CK

Esta habilidade usa IDs de técnica do MITRE ATLAS.

Fluxo de Trabalho

…