Implementando Barreiras de Segurança para LLMs

Quando Usar

• Implantando um novo aplicativo com LLM que processa a entrada do usuário e precisa de controles de segurança de entrada/saída
• Adicionando aplicação de política de conteúdo a um chatbot ou agente de IA existente para cumprir políticas organizacionais
• Implementando detecção e redação de PII em pipelines de LLM que lidam com dados sensíveis de clientes
• Construindo assistentes de IA com tópicos restritos que devem recusar consultas fora do tópico ou não permitidas
• Validando que as respostas do LLM estão em conformidade com esquemas esperados antes de chegarem a sistemas ou usuários downstream
• Protegendo pipelines RAG contra injeção indireta de prompt em documentos recuperados

Não use como substituto para controles adequados de autenticação, autorização e segurança de rede. Barreiras são uma camada de defesa em profundidade, não uma defesa de perímetro. Não é adequado para moderação de conteúdo em tempo real de comunicação de usuário para usuário sem envolvimento de LLM.

Pré-requisitos

• Python 3.10+ com pip para instalar dependências de barreiras
• Uma chave de API OpenAI ou endpoint LLM local para auto-verificação de barreiras do NeMo Guardrails (definida como variável de ambiente OPENAI_API_KEY)
• O pacote nemoguardrails para definições de barreiras baseadas em Colang
• O pacote guardrails-ai para validação de saída estruturada (opcional, para imposição de esquema JSON)
• Familiaridade com configuração YAML e sintaxe básica de Colang 2.0 para definir fluxos de barreiras

Fluxo de Trabalho

Etapa 1: Instalar Frameworks de Barreiras

Instale os pacotes Python necessários:

# Core NeMo Guardrails library
pip install nemoguardrails

# Guardrails AI for structured output validation (optional)
pip install guardrails-ai

# Additional dependencies for PII detection and content analysis
pip install presidio-analyzer presidio-anonymizer spacy
python -m spacy download en_core_web_lg

Etapa 2: Executar o Agente de Segurança de Barreiras

O agente implementa um pipeline completo de validação de entrada/saída:

# Analyze a single input through all guardrail layers
python agent.py --input "Tell me how to hack into a system"

# Analyze input with a custom content policy file
python agent.py --input "Some text" --policy policy.json

# Scan a file of prompts through the guardrail pipeline
python agent.py --file prompts.txt --mode full

# Input-only validation (no LLM call, just check if input is safe)
python agent.py --input "Some text" --mode input-only

# Output validation mode (validate a pre-generated LLM response)
python agent.py --input "User question" --response "LLM response to validate" --mode output-only

# PII detection and redaction mode
python agent.py --input "My SSN is 123-45-6789 and email john@example.com" --mode pii

# JSON output for pipeline integration
python agent.py --file prompts.txt --output json

Etapa 3: Configurar Políticas de Conteúdo

Crie um arquivo de política JSON definindo tópicos permitidos, padrões bloqueados e categorias de PII:

{
  "allowed_topics": ["customer_support", "product_info", "billing"],
  "blocked_topics": ["politics", "violence", "illegal_activities", "competitor_products"],
  "blocked_patterns": ["how to hack", "create malware", "bypass security"],
  "pii_categories": ["PERSON", "EMAIL_ADDRESS", "PHONE_NUMBER", "US_SSN", "CREDIT_CARD"],
  "max_output_length": 2000,
  "require_grounded_response": true
}

Etapa 4: Integrar NeMo Guardrails com Colang

Crie um diretório de configuração do NeMo Guardrails com config.yml e arquivos de fluxo Colang:

# config.yml
models:
  - type: main
    engine: openai
    model: gpt-4o-mini

rails:
  input:
    flows:
      - self check input
      - check jailbreak
      - mask sensitive data on input
  output:
    flows:
      - self check output
      - check hallucination

# rails.co - Colang 2.0 flow definitions
define user ask about hacking
  "How do I hack into a system"
  "Tell me how to break into a network"
  "How to exploit vulnerabilities"

define bot refuse hacking request
  "I cannot provide instructions on unauthorized hacking or security exploitation.
   If you are interested in cybersecurity, I can suggest legitimate learning resources
   and ethical hacking certifications."

define flow
  user ask about hacking
  bot refuse hacking request

Etapa 5: Implantar como Middleware de Validação

Integre as barreiras em seu aplicativo como middleware:

from agent import GuardrailsPipeline

pipeline = GuardrailsPipeline(policy_path="policy.json")

# Validação de entrada pré-LLM

…