Detecção de Ataques de Extração de Modelo

Uso Autorizado Apenas: As técnicas de extração, inversão e inferência de associação descritas aqui são destinadas a defensores que testam seus próprios modelos e a equipes vermelhas operando sob autorização escrita. Consultar um modelo de terceiros para cloná-lo, reconstruir seus dados de treinamento ou inferir associação sem permissão pode violar termos de serviço, direitos autorais e leis de privacidade.

Visão Geral

Extração de modelo é a família de ataques em que um adversário abusa da API de inferência de um modelo para roubar valor que o proprietário do modelo pretendia manter privado. O MITRE ATLAS cataloga isso sob AML.T0024 — Exfiltração via API de Inferência de IA, na tática de Exfiltração, com três sub-técnicas:

• AML.T0024.000 — Inferir Associação de Dados de Treinamento (inferência de associação): o adversário determina se um registro específico fez parte do conjunto de treinamento, uma violação de privacidade que pode expor, por exemplo, se o registro de um paciente treinou um modelo médico.
• AML.T0024.001 — Inverter Modelo de IA (inversão de modelo): o adversário reconstrói entradas de treinamento representativas (por exemplo, rostos, texto) explorando pontuações de confiança retornadas pela API.
• AML.T0024.002 — Extrair Modelo de ML (roubo de modelo): o adversário consulta repetidamente o modelo vítima, coleta pares (entrada, previsão) e treina um modelo substituto offline que imita a fronteira de decisão da vítima — evitando o custo por consulta de uma oferta de Machine-Learning-as-a-Service e roubando a propriedade intelectual do proprietário.

Todos os três compartilham um sinal comum: um atacante deve enviar muitas consultas, frequentemente elaboradas para sondar a fronteira de decisão (entradas de alta entropia, próximas à fronteira, sintéticas ou amostradas sistematicamente em grade), e frequentemente solicita vetores de confiança completos / logits em vez de apenas o rótulo principal. A detecção, portanto, se concentra no monitoramento de consultas por principal, análise da distribuição de entrada e controles de exposição de confiança, enquanto a defesa se concentra em limitação de taxa, perturbação de saída e redução das informações retornadas por consulta. Essa habilidade segue a definição de técnica do MITRE ATLAS para AML.T0024 (https://atlas.mitre.org/techniques/AML.T0024) e a função MEASURE do NIST AI RMF (MEASURE-2.6, segurança e resiliência do sistema de IA).

Quando Usar

• Quando você opera um modelo por trás de uma API de inferência pública ou de parceiros e precisa detectar clonagem, inversão ou inferência de associação.
• Ao realizar um exercício de equipe vermelha de IA pré-implantação para medir quantas consultas são necessárias para extrair seu próprio modelo.
• Ao validar que os controles de limitação de taxa, perturbação de saída e supressão de confiança realmente reduzem a capacidade de extração.
• Ao investigar picos anômalos de faturamento/uso que podem indicar a coleta de modelos substitutos.
• Ao responder a um incidente de privacidade onde a inferência de associação contra um modelo é suspeita.

Pré-requisitos

• Ambiente Python 3.9+.
• Acesso aos logs de acesso da API de inferência (contagens de consultas por chave de API/por principal, timestamps, recursos de entrada ou hashes, vetores de confiança retornados).
• Para testes de equipe vermelha de autoavaliação, instale a Adversarial Robustness Toolbox (ART), o framework de referência para ataques e defesas de extração/inferência:

  pip install adversarial-robustness-toolbox scikit-learn numpy
  

• Opcional: acesso ao objeto do modelo alvo (white/grey-box) ou apenas à sua API (black-box).
• Autorização para testar o modelo alvo.

Objetivos

• Instrumentar a API de inferência para registrar sinais de detecção por principal: volume de consultas, diversidade de entrada e exposição de confiança.
• Construir um detector que pontua principais por comportamento semelhante à extração (volume, amostragem próxima à fronteira, solicitações de vetor completo).
• Executar um ataque de extração baseado em ART contra seu próprio modelo para medir a fidelidade versus o orçamento de consultas.
• Executar um ataque de inferência de associação para quantificar o vazamento de dados de treinamento.
• Aplicar e validar defesas: limitação de taxa, respostas apenas com rótulo, arredondamento/perturbação de confiança e envenenamento de predição.

Mapeamento MITRE ATT&CK

Fluxo de Trabalho

1. Instrumentar a API de inferência para sinais de detecção

…