Testando Injeção de Prompt em Pipelines RAG

Aviso de uso autorizado: Esta habilidade descreve técnicas de teste ofensivas contra sistemas de Geração Aumentada por Recuperação (RAG). Execute essas sondas apenas contra aplicações que você possui ou tem autorização explícita por escrito para testar. Entradas adversárias que exfiltram documentos ou sequestram um modelo podem causar danos reais a sistemas de produção e usuários downstream. Sempre teste em um ambiente não produtivo primeiro e siga suas regras de engajamento (RoE).

Visão Geral

Pipelines de Geração Aumentada por Recuperação (RAG) combinam um modelo de linguagem grande (LLM) com uma camada de recuperação (um banco de dados vetorial como FAISS, Chroma, Pinecone, Milvus ou pgvector) para que o modelo possa responder a perguntas sobre documentos privados. A camada de recuperação é uma superfície de injeção: qualquer texto que o recuperador retorna é concatenado na janela de contexto do modelo e é tratado pelo modelo como autoritativo. Um atacante que pode influenciar o corpus de documentos (um PDF corrompido, uma edição maliciosa em uma wiki, um ticket de suporte plantado, um e-mail elaborado) pode inserir instruções que o modelo seguirá quando esse trecho for recuperado. Isso é injeção de prompt indireta entregue através do canal de recuperação, e corresponde ao AML.T0051 (Injeção de Prompt LLM) do MITRE ATLAS e ao LLM01:2025 Injeção de Prompt do OWASP.

Além da injeção em nível de texto, os pipelines RAG são vulneráveis na camada de embedding. Um atacante que entende o modelo de embedding pode criar texto que se posiciona perto de consultas de alto valor no espaço vetorial ("manipulação de embedding" / envenenamento de recuperação), garantindo que o trecho malicioso seja recuperado para uma consulta alvo, mesmo quando não é semanticamente relevante para um humano. Esta habilidade percorre a sondagem sistemática de ambas as superfícies usando o garak da NVIDIA, plugins de red-team do Promptfoo e o PyRIT da Microsoft, com comandos verificados e executáveis da documentação de cada ferramenta.

Quando Usar

• Ao testar a segurança de um chatbot RAG, assistente de conhecimento interno ou produto de Perguntas e Respostas sobre documentos antes ou depois do lançamento.
• Ao validar que os mecanismos de proteção de recuperação (filtragem de entrada/saída, sandboxing de contexto) realmente bloqueiam instruções injetadas.
• Durante um engajamento de red-team de IA com escopo para testar a camada de aplicação LLM (cobertura do OWASP LLM Top 10).
• Ao ingerir conteúdo controlável pelo usuário ou de terceiros em um banco de dados vetorial e precisar provar o raio de explosão de um documento corrompido.
• Como um portão de regressão em CI/CD: reexecute o conjunto de sondas a cada alteração de template de prompt ou recuperador.

Pré-requisitos

• Python 3.10-3.13 e um ambiente virtual.
• Acesso à rede para a aplicação RAG alvo (API HTTP ou um harness local que você controla).
• Autorização / RoE assinado para o alvo.
• Instale as ferramentas:

python -m venv .venv && source .venv/bin/activate   # Windows: .venv\Scripts\activate

# NVIDIA garak — LLM vulnerability scanner
python -m pip install -U garak

# Microsoft PyRIT — Python Risk Identification Tool (Python 3.10-3.13)
pip install pyrit

# Promptfoo — declarative red-team / eval CLI (Node.js 18+)
npm install -g promptfoo
# or run ad hoc with: npx promptfoo@latest

• Para experimentos locais de envenenamento de embedding: pip install sentence-transformers faiss-cpu numpy.

Objetivos

• Enumerar a superfície de recuperação do pipeline RAG alvo e identificar onde o conteúdo não confiável entra no corpus.
• Executar sondas de injeção automatizadas com garak (promptinject, latentinjection, leakreplay) e capturar taxas de aprovação/falha.
• Criar configurações de red-team do Promptfoo usando os plugins indirect-prompt-injection e rag-document-exfiltration.
• Conduzir campanhas de injeção multi-turno com orquestradores PyRIT contra o endpoint alvo.
• Demonstrar envenenamento de recuperação no espaço de embedding para que uma consulta de aparência benigna recupere de forma confiável um trecho de atacante.
• Produzir evidências (transcrições, trechos recuperados, saída do scorer) e mapear cada descoberta para OWASP LLM01 e ATLAS AML.T0051.

Mapeamento MITRE ATT&CK

Esta habilidade está ancorada no MITRE ATLAS (o companheiro específico de IA para o ATT&CK). Os nomes abaixo são os nomes oficiais das técnicas do ATLAS.

…