Construindo um Pipeline de Defanging e Compartilhamento de IOCs

Visão Geral

O defanging de IOCs (Indicadores de Comprometimento) modifica indicadores potencialmente maliciosos (URLs, endereços IP, domínios, endereços de e-mail) para evitar cliques ou execuções acidentais, enquanto preserva a legibilidade para análise e compartilhamento. Esta habilidade abrange a construção de um pipeline automatizado que ingere IOCs brutos de múltiplas fontes, os normaliza e deduplica, aplica o defanging para consumo humano seguro, os converte para o formato STIX 2.1 para consumo por máquinas e os distribui através de servidores TAXII, instâncias MISP e relatórios por e-mail.

Quando Usar

• Ao implantar ou configurar capacidades de construção de pipeline de defanging e compartilhamento de IOCs em seu ambiente.
• Ao estabelecer controles de segurança alinhados a requisitos de conformidade.
• Ao construir ou melhorar a arquitetura de segurança para este domínio.
• Ao conduzir avaliações de segurança que exigem esta implementação.

Pré-requisitos

• Python 3.9+ com as bibliotecas defang, ioc-fanger, stix2, requests, validators.
• Instância MISP ou servidor TAXII para compartilhamento automatizado.
• Compreensão dos tipos de IOC: IPv4/IPv6, domínios, URLs, endereços de e-mail, hashes de arquivos.
• Familiaridade com padrões de Indicadores STIX 2.1 e definições de marcação TLP.
• Acesso a feeds de inteligência de ameaças para ingestão de IOCs.

Conceitos Chave

Padrões de Defanging de IOCs

O defanging substitui componentes ativos de protocolo e domínio para prevenir a execução: http:// se torna hxxp://, https:// se torna hxxps://, pontos em domínios/IPs se tornam [.], @ em e-mails se torna [@]. Isso é crucial para compartilhar IOCs em relatórios, e-mails, canais do Slack e sites de cópia onde a vinculação automática pode acionar conexões de rede para infraestrutura maliciosa.

Normalização de IOCs

IOCs brutos de diferentes fontes vêm em formatos inconsistentes. A normalização envolve converter para minúsculas, remover barras finais e espaços em branco, extrair domínios de URLs, resolver codificação de URL, validar a correção do formato e deduplicar entre fontes.

Padrões de Indicadores STIX 2.1

Padrões STIX expressam IOCs em um formato padronizado: [ipv4-addr:value = '203.0.113.1'], [domain-name:value = 'malicious.example.com'], [url:value = 'http://evil.com/payload'], [file:hashes.'SHA-256' = 'abc123...']. Cada indicador inclui valid_from, indicator_types, confidence e marcações TLP opcionais.

Fluxo de Trabalho

Etapa 1: Construir Extração e Normalização de IOCs

import re
import hashlib
from urllib.parse import urlparse, unquote
from datetime import datetime

class IOCExtractor:
    """Extrai e normaliza IOCs de texto."""

    PATTERNS = {
        "ipv4": r'\b(?:(?:25[0-5]|2[0-4]\d|1\d{2}|[1-9]?\d)\.){3}(?:25[0-5]|2[0-4]\d|1\d{2}|[1-9]?\d)\b',
        "domain": r'\b(?:[a-zA-Z0-9](?:[a-zA-Z0-9-]{0,61}[a-zA-Z0-9])?\.)+[a-zA-Z]{2,}\b',
        "url": r'https?://[^\s<>"{}|\\^`\[\]]+',
        "email": r'\b[A-Za-z0-9._%+-]+@[A-Za-z0-9.-]+\.[A-Z|a-z]{2,}\b',
        "md5": r'\b[a-fA-F0-9]{32}\b',
        "sha1": r'\b[a-fA-F0-9]{40}\b',
        "sha256": r'\b[a-fA-F0-9]{64}\b',
    }

    WHITELIST_DOMAINS = {
        "google.com", "microsoft.com", "amazon.com", "github.com",
        "cloudflare.com", "akamai.com", "example.com",
    }

    def extract_from_text(self, text):
        """Extrai todos os tipos de IOC de texto livre."""
        # Refang indicadores já defanged primeiro
        text = self._refang(text)
        iocs = {"ipv4": set(), "domain": set(), "url": set(),
                "email": set(), "md5": set(), "sha1": set(), "sha256": set()}

        for ioc_type, pattern in self.PATTERNS.items():
            matches = re.findall(pattern, text)
            for match in matches:
                normalized = self._normalize(match, ioc_type)
                if normalized and not self._is_whitelisted(normalized, ioc_type):
                    iocs[ioc_type].add(normalized)

        # Remove domínios que fazem parte de URLs
        url_domains = set()
        for url in iocs["url"]:
            parsed = urlparse(url)
            url_domains.add(parsed.netloc)
        iocs["domain"] -= url_domains

        total = sum(len(v) for v in iocs.values())
        print(f"[+] Extraídos {total} IOCs únicos do texto")
        return {k: sorted(v) for k, v in iocs.items()}

    def _refang(self, text):
        """Converte indicadores defanged de volta para a forma ativa."""
        text = text.replace("hxxp://", "http://").replace("hxxps://", "https://")
        text = text.replace("[.]", ".").replace("[@]", "@")

…