Red-Teaming de LLMs com garak

Aviso Legal e de Uso Autorizado: Esta habilidade destina-se apenas a testes de segurança de IA autorizados e fins educacionais. Teste apenas modelos, chaves de API e endpoints que você possui ou tem permissão explícita por escrito para testar. Testes automatizados de APIs de LLM de terceiros podem violar seus termos de serviço e consumir tokens faturáveis. Testes não autorizados de sistemas que você não controla podem ser ilegais.

Visão Geral

garak (Generative AI Red-teaming and Assessment Kit) é um scanner de vulnerabilidades de LLM de código aberto mantido pela NVIDIA. Ele desempenha o papel que um scanner de vulnerabilidades de rede como o Nessus desempenha para hosts, mas para modelos de linguagem grandes: ele envia milhares de prompts adversários ("probes") para um modelo alvo, captura as gerações e executa "detectores" automatizados sobre as respostas para decidir se cada tentativa foi bem-sucedida. As famílias de probes cobrem injeção de prompt (promptinject, latentinjection), jailbreaks (dan), vazamento de dados de treinamento e prompt do sistema (leakreplay), geração de malware (malwaregen), emissão de payload de cross-site-scripting (xss), bypasses baseados em codificação (encoding), toxicidade e mais. O garak é descrito no artigo "garak: A Framework for Security Probing Large Language Models" (arXiv:2406.11036) e é distribuído do repositório GitHub NVIDIA/garak.

O scanner é independente do gerador. Ele pode ter como alvo modelos Hugging Face carregados localmente, APIs compatíveis com OpenAI, AWS Bedrock, Replicate, Cohere, endpoints NIM, modelos GGUF/llama.cpp e endpoints REST arbitrários via uma especificação de gerador JSON. Após uma execução, o garak emite um log de .report.jsonl delimitado por linha de cada tentativa e veredicto do detector, um .report.html legível por humanos, um log de depuração garak.log e um log de acertos de vulnerabilidades confirmadas. A saída do terminal imprime um resumo de acertos/falhas por probe e por detector com uma taxa de acertos (por exemplo, dan.Dan_11_0 jailbreak: FAIL ok on 38/40), que é o artefato principal que você interpreta.

Esta habilidade mapeia para as técnicas do MITRE ATLAS AML.T0051 (LLM Prompt Injection) e AML.T0054 (LLM Jailbreak) porque o garak operacionaliza ambas: ele cria entradas de injeção de prompt e jailbreak em escala e mede se as barreiras de proteção do alvo se mantêm. Ele suporta a subcategoria MEASURE-2.7 do NIST AI RMF, fornecendo medição de segurança/resiliência repetível e quantitativa de um sistema de IA implantado.

Quando Usar

• Quando você precisa de uma avaliação de segurança de linha de base rápida e repetível de um LLM antes ou após a implantação.
• Ao validar que uma barreira de proteção, prompt do sistema ou ajuste fino de segurança realmente reduz as taxas de sucesso de jailbreak e injeção (execute antes/depois e compare as taxas de acertos).
• Ao produzir evidências para uma avaliação de risco de IA ou seção de segurança de cartão de modelo (NIST AI RMF MEASURE-2.7).
• Ao triar quais riscos do OWASP LLM Top 10 (LLM01 injeção de prompt, LLM02 divulgação de informações sensíveis, LLM07 vazamento de prompt do sistema) realmente se manifestam em seu modelo.
• Ao testar regressivamente um endpoint de LLM em CI após alterações no modelo ou prompt.

Pré-requisitos

• Python 3.10+ (3.12 recomendado) e um ambiente virtual.
• Instale o garak do PyPI:

  python -m venv .venv && source .venv/bin/activate   # Windows: .venv\Scripts\activate
  python -m pip install -U garak
  garak --version
  

• Para a versão mais recente:

  python -m pip install -U git+https://github.com/NVIDIA/garak.git@main
  

• Uma chave de API para o alvo, se estiver testando um modelo hospedado (por exemplo, export OPENAI_API_KEY="sk-...").
• Autorização por escrito para testar o alvo e consciência do custo de tokens (probes geram milhares de chamadas).

Objetivos

• Enumerar probes e detectores disponíveis e escolher um conjunto com escopo.
• Configurar o garak contra um modelo Hugging Face local, uma API compatível com OpenAI e um endpoint REST arbitrário.
• Executar famílias de probes de injeção de prompt, jailbreak e vazamento e capturar relatórios.
• Interpretar a saída de taxa de acertos por probe e o .report.jsonl.
• Reexecutar após aplicar uma mitigação para demonstrar redução de risco.
• Produzir um artefato de descobertas defensável para uma avaliação de risco de IA.

Mapeamento MITRE ATT&CK

Esta habilidade usa IDs de técnica do MITRE ATLAS (o companheiro de ML adversário do ATT&CK).

…