Detecção de Envenenamento de Dados e Modelos

Aviso de uso autorizado: Esta habilidade inclui rotinas que criam amostras envenenadas e gatilhos de backdoor para validação defensiva. Gere e use dados envenenados e modelos com backdoor apenas em ambientes de teste isolados que você controla. Nunca implante um modelo com backdoor ou distribua conjuntos de dados envenenados.

Visão Geral

Ataques de envenenamento de dados e backdoors em modelos visam a integridade de um sistema de ML no momento do treinamento, em vez da inferência. Em envenenamento de dados (MITRE ATLAS AML.T0020 Poison Training Data), um adversário injeta amostras manipuladas no treinamento, ajuste fino ou corpus RAG para que o modelo resultante se comporte mal — precisão degradada, classificação incorreta direcionada ou um viés escolhido pelo atacante. Em backdoors em modelos (MITRE ATLAS AML.T0018 Backdoor ML Model), o modelo se comporta normalmente em entradas limpas, mas produz uma saída escolhida pelo atacante sempre que um gatilho oculto (um patch de pixel, um token raro, uma frase) está presente. Ambos são amplificados pela Compromisso da Cadeia de Suprimentos de ML (AML.T0010): conjuntos de dados públicos envenenados, pesos pré-treinados trojanizados baixados de um hub ou uma serialização maliciosa de modelo. Este é o OWASP LLM04:2025 Data and Model Poisoning.

A detecção abrange o pipeline. No lado dos dados: verificações de proveniência e integridade, detecção estatística de outliers e inversão de rótulos, e desduplicação de amostras suspeitamente quase idênticas. No lado do modelo: agrupamento de ativação e análise de assinatura espectral (que exploram o fato de que amostras envenenadas ativam a rede de forma diferente das limpas) e reconstrução de gatilhos. No lado da cadeia de suprimentos: verificação de hashes/assinaturas de pesos e recusa de formatos de serialização inseguros (baseados em pickle .bin/.pt) em favor de safetensors. Esta habilidade implementa todos os três usando a Adversarial Robustness Toolbox (ART) da IBM, Cleanlab para problemas de qualidade de rótulos e ferramentas de integridade.

Quando Usar

• Antes de treinar/ajustar em dados de terceiros ou contribuídos por usuários.
• Antes de implantar um modelo construído em um checkpoint pré-treinado baixado.
• Durante uma revisão de segurança da cadeia de suprimentos de ML.
• Ao investigar comportamento anômalo do modelo ligado a entradas específicas (possível gatilho de backdoor).
• Como um portão de CI/CD que escaneia conjuntos de dados e artefatos de modelo antes que entrem no pipeline.

Pré-requisitos

• Python 3.10+ e um ambiente virtual.
• Instale as ferramentas:

python -m venv .venv && source .venv/bin/activate

# IBM Adversarial Robustness Toolbox — poisoning detection defenses
pip install adversarial-robustness-toolbox

# Cleanlab — label/data quality issue detection
pip install cleanlab

# Modeling + safe serialization + hashing
pip install numpy scikit-learn safetensors

# (Choose one framework backend ART can wrap)
pip install tensorflow   # or: pip install torch

Objetivos

• Verificar a proveniência e integridade de conjuntos de dados e pesos de modelos (hashes/assinaturas, formatos seguros).
• Detectar problemas de qualidade de rótulos e outliers em dados de treinamento com Cleanlab.
• Detectar amostras envenenadas em um modelo treinado usando agrupamento de ativação ART.
• Confirmar descobertas com análise de assinatura espectral ART.
• Sondar um modelo suspeito em busca de gatilhos de backdoor e quantificar a classificação incorreta induzida por gatilho.
• Produzir um relatório de avaliação de envenenamento mapeado para ATLAS AML.T0020 / AML.T0018.

Mapeamento MITRE ATT&CK

Fluxo de Trabalho

1. Verificar proveniência/integridade de dados e modelos

Recuse artefatos cuja hash/assinatura você não consegue verificar e prefira safetensors em vez de formatos baseados em pickle (pickle pode executar código ao carregar).

# Verify a downloaded checkpoint against a published SHA-256
sha256sum model.safetensors
# compare to the hub-published digest

# Flag unsafe pickle-based weights in a directory
find ./models -type f \( -name "*.bin" -o -name "*.pt" -o -name "*.pkl" -o -name "*.ckpt" \)

# safe_load.py — load weights without executing pickle
from safetensors.numpy import load_file
weights = load_file("model.safetensors")   # no arbitrary code execution

…