Detecção de Injeção Indireta de Prompt

Aviso de uso autorizado: Scripts nesta habilidade escaneiam conteúdo não confiável em busca de payloads de injeção e executam modelos detectores. Execute a varredura apenas em dados que você está autorizado a processar e trate quaisquer payloads extraídos como entrada não confiável ativa — nunca os cole de volta em um contexto de LLM privilegiado.

Visão Geral

Injeção indireta de prompt (MITRE ATLAS AML.T0051.001, OWASP LLM01:2025) ocorre quando um agente com LLM ingere conteúdo externo — uma página da web que ele navega, um PDF ou e-mail que ele resume, uma imagem que ele OCRiza, um resultado de ferramenta que ele lê — e esse conteúdo contém instruções ocultas que o modelo então segue como se viessem do desenvolvedor ou usuário. Como o agente trata todos os tokens em sua janela de contexto como igualmente autoritativos, um atacante que controla qualquer artefato consumido pode sequestrar o comportamento do agente: exfiltrar histórico de conversas, redirecionar chamadas de ferramentas, vazar segredos ou pivotar por sistemas conectados.

Ao contrário da injeção direta (o usuário digita o ataque), a injeção indireta chega através de um canal de dados com aparência confiável, que é por que a filtragem de entrada ingênua a perde. Payloads se escondem em muitas formas: comentários HTML e texto display:none/de largura zero em páginas da web, texto branco sobre branco ou com fonte minúscula em PDFs, texto alternativo e metadados EXIF em imagens, texto renderizado em pixels (invisível para filtros de OCR leves, mas lido por modelos multimodais), caracteres de tag Unicode/largura zero e ofuscação Base64/ROT13. Esta habilidade constrói um pipeline de detecção que normaliza e escaneia cada artefato antes que ele chegue ao modelo, combinando detecção heurística/regex, modelos detectores dedicados (Meta Prompt Guard 2, classificador deberta-v3 prompt-injection da ProtectAI via LLM Guard) e extração multimodal para imagens, e então define ações de resposta e telemetria de detecção.

Quando Usar

• Ao construir ou fortalecer um agente que navega na web, lê e-mails, resume documentos ou processa arquivos/imagens enviados pelo usuário.
• Quando você precisa de um portão de sanitização de conteúdo na frente de um LLM que ingere dados de terceiros.
• Durante exercícios de AI red-team / blue-team validando que instruções injetadas em artefatos recuperados são capturadas.
• Ao investigar um incidente onde um agente se comportou como se tivesse recebido instruções que você não escreveu.
• Como uma varredura de pré-ingestão em CI/CD para documentos adicionados a uma base de conhecimento.

Pré-requisitos

• Python 3.10+ e um ambiente virtual.
• Instale as ferramentas de detecção:

python -m venv .venv && source .venv/bin/activate

# LLM Guard — input/output scanners incl. PromptInjection
pip install llm-guard

# Hugging Face transformers for Prompt Guard 2 / deberta classifiers
pip install transformers torch

# Content extraction: HTML, PDF, images
pip install beautifulsoup4 pypdf pillow pytesseract
# pytesseract requires the Tesseract OCR engine:
#   Debian/Ubuntu: sudo apt-get install -y tesseract-ocr
#   macOS:         brew install tesseract
#   Windows:       choco install tesseract

• Acesso (controlado) a meta-llama/Llama-Prompt-Guard-2-86M no Hugging Face, ou use o classificador aberto protectai/deberta-v3-base-prompt-injection-v2.

Objetivos

• Extrair texto invisível a humanos e ofuscado de páginas da web, PDFs e imagens.
• Normalizar conteúdo (remover caracteres de largura zero, decodificar Base64/ROT13, achatar Unicode) antes da varredura.
• Executar detectores de injeção heurísticos e baseados em ML (scanner LLM Guard PromptInjection, Prompt Guard 2).
• Pontuar cada artefato e impor uma decisão de bloquear / sanitizar / permitir antes da ingestão do modelo.
• Emitir telemetria de detecção estruturada adequada para um SIEM e mapear descobertas para ATLAS AML.T0051.001.

Mapeamento MITRE ATT&CK

Fluxo de Trabalho

1. Extrair texto oculto de conteúdo da web

Puxa comentários, elementos ocultos e metadados que um humano nunca vê, mas o modelo vê.

# extract_html.py
from bs4 import BeautifulSoup, Comment

def extract_hidden(html: str):
    soup = BeautifulSoup(html, "html.parser")
    hidden = []

…