Correlação de OSINT Impulsionada por IA

Quando Usar

• Você coletou dados brutos de OSINT de várias ferramentas e fontes, mas precisa identificar conexões, contradições e padrões entre eles.
• Você precisa construir um perfil de inteligência unificado para uma entidade alvo (pessoa, organização ou infraestrutura) a partir de dados fragmentados.
• A correlação manual tradicional é muito lenta ou propensa a erros para o volume de dados coletados.
• Você deseja avaliações com pontuação de confiança de ligação de identidade entre plataformas, em vez de simples correspondência de palavras-chave.

Pré-requisitos

• Python 3.10+ com requests, json e bibliotecas csv
• Sherlock instalado (pip install sherlock-project)
• theHarvester instalado (pip install theHarvester)
• SpiderFoot 4.0+ em execução em localhost:5001
• Acesso a uma API de LLM (OpenAI, Anthropic ou modelo local via Ollama)
• Opcional: Maltego CE para visualização de grafos dos resultados de correlação
• Opcional: Chaves de API para Shodan, VirusTotal, HaveIBeenPwned, Hunter.io

Fluxo de Trabalho

Requisitos Legais e Éticos

• Obtenha autorização escrita documentada antes de qualquer investigação
• Estabeleça uma base legal para o processamento de dados (aplicação da lei, política corporativa, etc.)
• Defina limites de retenção de PII e procedimentos de manuseio de dados
• Cumpra os regulamentos locais de privacidade (GDPR, CCPA, etc.)

Fase 1 — Coleta de OSINT Multi-Fonte

0. Crie o diretório de trabalho para todas as saídas de OSINT:

   mkdir -p /tmp/osint
   

1. Enumere nomes de usuário em várias plataformas com Sherlock:

   sherlock "targetusername" --output /tmp/osint/sherlock-results.txt --csv
   

2. Colete e-mails, subdomínios e hosts com theHarvester:

   theHarvester -d targetdomain.com -b all -f /tmp/osint/harvester-results.json
   

3. Execute uma varredura passiva do SpiderFoot via API REST:

   curl -s http://localhost:5001/api/scan/start \
     -d "scanname=target-recon&scantarget=targetdomain.com&usecase=passive" \
     | jq '.scanid'
   

4. Exporte os resultados do SpiderFoot quando a varredura for concluída:

   SCAN_ID="<scanid_from_step_3>"
   curl -s "http://localhost:5001/api/scan/${SCAN_ID}/results?type=all" \
     -o /tmp/osint/spiderfoot-results.json
   

5. Consulte bancos de dados de vazamentos para exposição de e-mail (exemplo com API HIBP):

   curl -s -H "hibp-api-key: ${HIBP_KEY}" \
     -H "User-Agent: OSINT-Correlation-Skill" \
     "https://haveibeenpwned.com/api/v3/breachedaccount/target@example.com" \
     -o /tmp/osint/breach-results.json
   

Fase 2 — Normalização de Dados

6. Normalize todos os dados coletados em um esquema comum. Crie uma estrutura JSON unificada que marque cada descoberta com sua fonte, carimbo de data/hora e tipo de dados:

   cat > /tmp/osint/normalize.py << 'EOF'
   import json, csv, sys, os
   from datetime import datetime
   
   findings = []
   
   # Normalizar resultados CSV do Sherlock
   sherlock_path = "/tmp/osint/sherlock-results.txt"
   if os.path.exists(sherlock_path):
       with open(sherlock_path) as f:
           for row in csv.DictReader(f):
               findings.append({
                   "source": "sherlock",
                   "type": "social_profile",
                   "platform": row.get("name", ""),
                   "url": row.get("url_user", ""),
                   "username": row.get("username", ""),
                   "status": row.get("status", ""),
                   "collected_at": datetime.utcnow().isoformat()
               })
   
   # Normalizar resultados JSON do theHarvester
   harvester_path = "/tmp/osint/harvester-results.json"
   if os.path.exists(harvester_path):
       with open(harvester_path) as f:
           data = json.load(f)
           for email in data.get("emails", []):
               findings.append({
                   "source": "theHarvester",
                   "type": "email",
                   "value": email,
                   "collected_at": datetime.utcnow().isoformat()
               })
           for host in data.get("hosts", []):
               findings.append({
                   "source": "theHarvester",
                   "type": "hostname",
                   "value": host,
                   "collected_at": datetime.utcnow().isoformat()
               })
   
   # Normalizar resultados do SpiderFoot
   sf_path = "/tmp/osint/spiderfoot-results.json"
   if os.path.exists(sf_path):
   

…