Avaliando Vulnerabilidades de Vetores e Embeddings

Uso autorizado apenas: Estes testes interagem com bancos de dados vetoriais e modelos de embedding em sistemas RAG que você possui ou está autorizado a avaliar. A inversão de embeddings e a sondagem entre inquilinos contra sistemas que você não controla podem expor dados de terceiros e são proibidas sem autorização.

Visão Geral

Sistemas de Geração Aumentada por Recuperação (RAG) convertem documentos em vetores de embedding armazenados em um banco de dados vetorial (Pinecone, Qdrant, Weaviate, Chroma, pgvector, FAISS) e recuperam os vetores mais próximos para fundamentar as respostas do LLM. O OWASP LLM08:2025 Vulnerabilidades de Vetores e Embeddings abrange os riscos de segurança exclusivos desta camada:

• Inversão de embedding — embeddings não são unidirecionais. Um modelo de inversão treinado (ou um ataque de reconstrução de caixa preta) pode recuperar porções substanciais do texto original a partir de seu vetor, vazando documentos de origem (mapeia para o MITRE ATLAS AML.T0024.001 Invert ML Model).
• Inferência de pertencimento — consulta se um registro específico contribuiu para o corpus (AML.T0024.000).
• Vazamento entre inquilinos / multi-inquilinos — quando um namespace/coleção é compartilhado ou falta isolamento de filtro, um inquilino recupera blocos de outro inquilino.
• Envenenamento da base de conhecimento — um atacante que pode escrever no corpus insere blocos elaborados que dominam a recuperação (alta similaridade de cosseno com consultas esperadas) e carregam cargas úteis de injeção de prompt indireta.
• Manipulação de recuperação — documentos adversários ajustados para serem recuperados para muitas consultas não relacionadas ("sequestro de recuperação").

A técnica pai é AML.T0024 — Exfiltração via API de Inferência ML: um atacante usa acesso legítimo de inferência/consulta para exfiltrar dados (texto de origem via inversão, pertencimento ou extração de modelo). Esta habilidade fornece uma avaliação repetível de todas as cinco classes de vulnerabilidade.

Quando Usar

• Durante uma avaliação de segurança de qualquer aplicação RAG / busca vetorial (cobertura OWASP LLM08).
• Quando um banco de dados vetorial é multi-inquilino e você precisa provar o isolamento de namespace/metadados.
• Quando o corpus aceita documentos fornecidos pelo usuário ou de terceiros (superfície de envenenamento).
• Quando o endpoint de embedding é alcançável externamente (superfície de inversão/pertencimento).
• Ao validar controles de filtragem de recuperação antes do lançamento.

Pré-requisitos

• Autorização e escopo cobrindo o endpoint de embedding e o banco de dados vetorial alvo.
• Python 3.10+.
• Acesso de leitura (e, para testes de envenenamento, escrita) a uma coleção de teste — nunca ao corpus de produção.

# Vector DB clients + embeddings + similarity tooling
python -m pip install numpy scikit-learn sentence-transformers
python -m pip install qdrant-client chromadb pinecone-client weaviate-client
# (optional) text-embedding inversion research baseline
python -m pip install vec2text

Objetivos

• Medir a exposição à inversão de embedding no modelo de embedding alvo.
• Executar uma sonda de inferência de pertencimento contra o corpus.
• Testar o isolamento multi-inquilino (namespace, filtro de metadados, RBAC) para vazamento entre inquilinos.
• Injetar blocos envenenados benignos em uma coleção de teste e medir a dominância da recuperação.
• Detectar conteúdo de injeção de prompt indireta sobrevivendo em blocos recuperados.
• Recomendar controles: filtros com escopo de inquilino, validação de conteúdo, limites de acesso a embeddings.

Mapeamento MITRE ATT&CK

Fluxo de Trabalho

Etapa 1: Inventariar o pipeline RAG

Documente o modelo de embedding + dimensões, o banco de dados vetorial e seu modelo de tenancy, a estratégia de chunking, a recuperação top_k e a métrica de similaridade (cosseno/ponto/L2), e quaisquer filtros de metadados aplicados no momento da consulta.

# Exemplo: inspecionar uma coleção Qdrant
from qdrant_client import QdrantClient
client = QdrantClient(url="http://localhost:6333")
info = client.get_collection("docs")

…