Protegendo a Invocação de Ferramentas de IA Agente

Aviso de uso autorizado: Esta é uma habilidade defensiva. Os controles abaixo regem como um agente de IA invoca ferramentas/plugins. Implante-os em sistemas que você possui ou opera. Teste contornos de segurança apenas contra seu próprio agente em um ambiente não produtivo.

Visão Geral

Sistemas de IA autônomos (agentes) decidem qual ferramenta chamar, com quais argumentos e quando, com base no raciocínio do modelo sobre entradas não confiáveis. Isso torna o limite de invocação de ferramentas o ponto de controle de maior risco em um agente: uma única injeção de prompt bem-sucedida ou uma ferramenta corrompida pode transformar o agente em um "deputado confuso" que exclui dados, envia dinheiro ou se move para sistemas conectados. A ameaça relevante é o AML.T0053 (Comprometimento de Plugin LLM) do MITRE ATLAS e as classes do OWASP Agentic AI Top 10 para Uso Indevido de Ferramentas, Agência Excessiva e Comprometimento de Privilégios.

A defesa é uma governança em camadas e de "defesa em profundidade" das chamadas de ferramentas: (1) uma lista de permissões rigorosa de quais ferramentas o agente pode chamar e com quais formatos de argumento; (2) vinculação de identidade de menor privilégio para que cada chamada de ferramenta seja executada com credenciais limitadas e de curta duração, vinculadas ao usuário/sessão atuante — não uma única conta de serviço com modo "deus"; (3) aplicação de políticas no limite da chamada (barreiras de diálogo/fluxo do NeMo Guardrails da NVIDIA e barreiras tool, ou um invólucro de política determinístico); (4) humano no circuito (HITL) para aprovação de ações de alto impacto; e (5) registro de auditoria de cada invocação para detecção. Esta habilidade implementa todos os cinco com padrões verificados e executáveis usando NeMo Guardrails e um invólucro de política Python agnóstico de framework.

Quando Usar

• Ao construir ou fortalecer um agente que pode chamar ferramentas com efeitos colaterais no mundo real (e-mail, pagamentos, gravações de arquivos, alterações de infraestrutura, execução de código).
• Ao mapear os controles do OWASP Agentic AI Top 10 para um framework de agente existente.
• Quando você precisa limitar o raio de explosão de injeção de prompt / corrupção de ferramenta.
• Quando um requisito de conformidade ou governança exige aprovações e trilhas de auditoria para ações autônomas.
• Durante uma revisão de arquitetura da camada de ferramentas de um agente.

Pré-requisitos

• Python 3.10+ e um ambiente virtual.
• Um framework de agente/LLM que você controla.
• Instale as ferramentas:

python -m venv .venv && source .venv/bin/activate

# NVIDIA NeMo Guardrails — programmable rails incl. tool/flow controls
pip install nemoguardrails

# JSON schema validation for tool argument allowlisting
pip install jsonschema

# (Optional) cloud SDK for scoped credential issuance, e.g. AWS STS
pip install boto3

Objetivos

• Definir uma lista de permissões explícita de ferramentas com esquemas de argumentos por ferramenta (negação por padrão).
• Vincular cada chamada de ferramenta a uma identidade limitada e de curta duração em vez de uma conta de serviço compartilhada.
• Aplicar uma decisão de política (permitir / exigir aprovação / negar) antes de cada invocação.
• Inserir portões de aprovação de humano no circuito para ferramentas de alto impacto.
• Envolver as ferramentas de um agente com NeMo Guardrails e/ou um invólucro de política determinístico.
• Produzir um log de auditoria à prova de adulteração de todas as chamadas de ferramentas mapeadas para o ATLAS AML.T0053.

Mapeamento MITRE ATT&CK

Fluxo de Trabalho

1. Inventariar ferramentas e classificar impacto

Liste todas as ferramentas que o agente pode chamar, seus argumentos e um nível de impacto (somente leitura / gravação / alto impacto). Ferramentas de alto impacto exigem HITL.

# tool_registry.py
TOOL_POLICY = {
    "search_docs":  {"impact": "read",        "approval": False},
    "create_ticket":{"impact": "write",       "approval": False},
    "send_email":   {"impact": "high",        "approval": True},
    "transfer_funds":{"impact": "high",       "approval": True},
    "run_shell":    {"impact": "high",        "approval": True},
}

2. Definir listas de permissões de argumentos por ferramenta (negação por padrão)

Valide cada chamada contra um esquema JSON; rejeite qualquer coisa que não seja explicitamente permitida.

# schemas.py
from jsonschema import validate, ValidationError

TOOL_SCHEMAS = {
    "send_email": {
        "type": "object",
        "properties": {

…