Segurança de IA: Fortalecimento

Proteja sistemas de LLM e IA contra injeção de prompts, jailbreaks, vazamento de dados e ameaças na cadeia de suprimentos em ambientes de produção.

Quando Usar Esta Habilidade

Use esta habilidade quando:

• Implantar um aplicativo com LLM que lida com dados sensíveis do usuário
• Proteger contra ataques de injeção de prompts em agentes de IA
• Implementar filtragem de saída e moderação de conteúdo
• Proteger pesos de modelos e endpoints de API contra roubo
• Alcançar conformidade com SOC2 ou ISO 27001 para sistemas de IA

Modelo de Ameaças Específico de IA

Threat                    Risk                          Control
─────────────────────────────────────────────────────────────────────
Prompt injection          System prompt override         Input sanitization, separate context
Data exfiltration         PII in model outputs           Output filtering, DLP scanning
Jailbreaking             Policy bypass                  Content moderation, guardrails
Model theft               Weight extraction via API      Rate limiting, access controls
Training data poisoning   Backdoored fine-tuned model    Dataset validation, provenance
Supply chain attack       Malicious model weights        Signature verification, scanning
Insecure output           XSS/SQLi from LLM response     Output encoding, parameterized queries

Indicadores de Injeção de Prompt e Limites de Autorização

Indicadores Regex têm falsos positivos e contornos. Eles não estabelecem um limite de segurança contra injeção de prompt. Mantenha conteúdo não confiável separado, aplique autorização de ferramentas/dados no lado do servidor independente do texto do modelo, minimize segredos acessíveis e exija aprovação para efeitos colaterais com escopo. Os exemplos abaixo são detectores ilustrativos, não prova de que uma entrada ou saída é segura.

import re
from typing import Optional

INJECTION_PATTERNS = [
    r"ignore\s+(all\s+)?(previous|prior|above)\s+instructions",
    r"you\s+are\s+now\s+",
    r"new\s+instructions?:",
    r"system\s+prompt",
    r"forget\s+everything",
    r"act\s+as\s+",
    r"jailbreak",
    r"dan\s+mode",
    r"<\s*system\s*>",
    r"\[INST\]",
]

def detect_prompt_injection(user_input: str) -> tuple[bool, Optional[str]]:
    """Return (is_suspicious, matched_pattern)."""
    normalized = user_input.lower().strip()
    for pattern in INJECTION_PATTERNS:
        if re.search(pattern, normalized, re.IGNORECASE):
            return True, pattern
    return False, None

def sanitize_user_input(user_input: str, max_length: int = 4000) -> str:
    """Sanitize input before passing to LLM."""
    # Truncate
    user_input = user_input[:max_length]

    # Remove null bytes and control characters
    user_input = re.sub(r'[\x00-\x08\x0b\x0c\x0e-\x1f\x7f]', '', user_input)

    # Check for injection
    suspicious, pattern = detect_prompt_injection(user_input)
    if suspicious:
        raise ValueError(f"Potential prompt injection detected: {pattern}")

    return user_input

Barreiras com NeMo Guardrails

# guardrails.yaml
from nemoguardrails import RailsConfig, LLMRails

config = RailsConfig.from_path("./guardrails-config")
rails = LLMRails(config)

async def safe_llm_call(user_message: str) -> str:
    response = await rails.generate_async(
        messages=[{"role": "user", "content": user_message}]
    )
    return response["content"]

# guardrails-config/config.yml
models:
  - type: main
    engine: openai
    model: gpt-4o-mini

rails:
  input:
    flows:
      - check jailbreak
      - check sensitive data
  output:
    flows:
      - check output for PII
      - check output for harmful content

Filtragem de Saída e Limpeza de PII

import re
from presidio_analyzer import AnalyzerEngine
from presidio_anonymizer import AnonymizerEngine

analyzer = AnalyzerEngine()
anonymizer = AnonymizerEngine()

PII_ENTITIES = ["PERSON", "EMAIL_ADDRESS", "PHONE_NUMBER", "CREDIT_CARD",
                "US_SSN", "IBAN_CODE", "IP_ADDRESS", "LOCATION"]

def scrub_pii_from_output(text: str) -> str:
    """Remove PII da saída do LLM antes de retornar ao usuário."""
    results = analyzer.analyze(text=text, entities=PII_ENTITIES, language="en")
    if not results:
        return text
    anonymized = anonymizer.anonymize(text=text, analyzer_results=results)
    return anonymized.text

def has_no_known_output_indicators(output: str) -> bool:
    """Nenhum padrão Regex conhecido; não prova segurança de SQL, HTML ou comando."""
    dangerous_patterns = [
        r"<\s*script\s*>",         # XSS

…