Defendendo LLMs com Guardrails

Escopo de Defesa: Esta habilidade descreve defesas em tempo de execução para aplicações LLM em produção. Os exemplos de payloads de jailbreak/injeção existem apenas para validar que os guardrails os bloqueiam. Teste em sistemas que você possui ou está autorizado a avaliar.

Visão Geral

Aplicações de modelos de linguagem grandes (LLMs) estão expostas a entradas adversárias (jailbreaks, injeção de prompt, conteúdo tóxico) e podem emitir saídas inseguras, tendenciosas ou sensíveis. Um guardrail é um controle em tempo de execução que inspeciona e restringe os dados que fluem para dentro e para fora de um LLM. Três sistemas de guardrail de código aberto e de nível de produção dominam o ecossistema e são complementares em vez de mutuamente exclusivos:

• Llama Guard 3 (Meta) — um modelo Llama-3.1-8B ajustado como um classificador de segurança. Dada uma solicitação ou uma resposta, ele emite safe ou unsafe mais as categorias de perigo violadas do MLCommons (S1–S14). É o classificador de segurança de conteúdo semântico mais forte dos três e suporta classificação de prompt, classificação de resposta e classificação de chamada de ferramenta/interpretador de código em 8 idiomas.
• NeMo Guardrails (NVIDIA) — um framework de diálogo programável. Você define input, output, dialog, retrieval e execution em um config.yml mais fluxos Colang (.co). Ele pode chamar modelos externos (incluindo Llama Guard) como ações, impor limites temáticos e adicionar rails de verificação de fatos/detecção de jailbreak.
• LLM Guard (Protect AI) — um pipeline de scanner com 15 scanners de entrada e 20 scanners de saída (PromptInjection, Toxicity, Anonymize/Deanonymize, Secrets, BanTopics, Sensitive, Regex, etc.). Ele retorna uma string higienizada, um sinalizador de validade e uma pontuação de risco por scanner, tornando-o ideal para um pipeline determinístico de pré/pós.

Esta habilidade mapeia para o MITRE ATLAS AML.T0054 — LLM Jailbreak: a camada de guardrail é a mitigação que detecta e bloqueia tentativas de jailbreak/injeção antes que elas atinjam (ou depois que saem) o modelo.

Quando Usar

• Ao implantar uma aplicação LLM/RAG/agente em produção e precisar de uma camada de segurança em tempo de execução.
• Quando você precisa bloquear jailbreaks e injeção de prompt (OWASP LLM01) antes que eles cheguem ao modelo.
• Quando você precisa moderar a saída do modelo para toxicidade, vazamento de PII, segredos ou respostas fora do tópico.
• Ao validar que uma configuração de guardrail realmente bloqueia um corpus de payloads conhecidos como ruins.
• Ao criar camadas de defesa em profundidade: um scanner determinístico (LLM Guard) mais um classificador semântico (Llama Guard) mais rails de diálogo (NeMo).

Pré-requisitos

• Python 3.9+ (LLM Guard requer 3.9+; Llama Guard via transformers requer transformers>=4.43).
• GPU recomendada para Llama Guard 3 8B (CPU funciona para a variante 1B ou compilações quantizadas).
• Uma conta Hugging Face com licença Meta Llama aceita para baixar meta-llama/Llama-Guard-3-8B.

# LLM Guard
python -m pip install llm-guard

# NeMo Guardrails
python -m pip install nemoguardrails

# Llama Guard via Hugging Face transformers
python -m pip install "transformers>=4.43" torch accelerate huggingface_hub
huggingface-cli login   # accept the Meta Llama license first on the model page

Objetivos

• Executar o Llama Guard 3 como um classificador de segurança de prompt e resposta e analisar sua saída de categoria.
• Construir um pipeline de scanner de entrada/saída LLM Guard com scanners PromptInjection, Toxicity, Secrets e Anonymize.
• Criar um config.yml NeMo Guardrails mais fluxos Colang com rails de entrada/saída/jailbreak.
• Integrar o Llama Guard ao NeMo como uma verificação de segurança de conteúdo.
• Validar a pilha combinada contra um corpus de payloads de jailbreak e injeção.

Mapeamento MITRE ATT&CK

Fluxo de Trabalho

Etapa 1: Classificar prompts e respostas com Llama Guard 3

…