Detecção de Áudio Deepfake em Ataques de Vishing

Quando Usar

• Uma chamada de vishing suspeita usou uma voz de executivo clonada por IA para autorizar uma transferência bancária
• Operações de segurança receberam um correio de voz que soa como o CEO, mas o tom parece estranho
• Resposta a incidentes precisa determinar se uma chamada telefônica gravada contém fala sintética
• Investigação de fraude requer prova forense de que o áudio foi gerado por IA
• Exercícios de equipe vermelha usam clonagem de voz e a equipe azul precisa de capacidade de detecção

Não use para phishing baseado em texto (e-mail/SMS); use análise de cabeçalho de e-mail ou ferramentas de detonação de URL em vez disso.

Pré-requisitos

• Python 3.9+ com librosa, numpy, scikit-learn e scipy instalados
• Amostras de áudio em formato WAV, MP3 ou FLAC (mono ou estéreo, qualquer taxa de amostragem)
• Corpus de referência de amostras de voz genuínas conhecidas do indivíduo alvo (opcional, mas melhora a precisão)
• FFmpeg instalado para conversão de formato de áudio (dependência do librosa)
• Mínimo de 3 segundos de áudio para extração confiável de recursos

Fluxo de Trabalho

Etapa 1: Pré-processamento de Áudio

Normaliza e prepara as amostras de áudio para extração de recursos:

import librosa
import numpy as np

# Load audio, resample to 16kHz mono
y, sr = librosa.load("suspect_call.wav", sr=16000, mono=True)

# Trim silence from beginning and end
y_trimmed, _ = librosa.effects.trim(y, top_db=25)

# Normalize amplitude to [-1, 1]
y_norm = y_trimmed / np.max(np.abs(y_trimmed))

O pré-processamento de áudio garante a extração consistente de recursos em diferentes condições de gravação, microfones e artefatos de codec.

Etapa 2: Extrair Recursos Espectrais

Extrai o conjunto de recursos que distingue fala real de fala sintética:

Coeficientes Cepstrais de Frequência Mel (MFCCs):

# Extract 20 MFCCs + delta and delta-delta
mfccs = librosa.feature.mfcc(y=y_norm, sr=sr, n_mfcc=20)
mfcc_delta = librosa.feature.delta(mfccs)
mfcc_delta2 = librosa.feature.delta(mfccs, order=2)

Os MFCCs capturam o envelope espectral da fala, representando como o trato vocal molda o som. O áudio deepfake geralmente mostra uma suavidade não natural em MFCCs de ordem superior porque os vocoders neurais aproximam, mas não replicam perfeitamente a ressonância acústica de um trato vocal físico.

Recursos Espectrais:

spectral_centroid = librosa.feature.spectral_centroid(y=y_norm, sr=sr)
spectral_bandwidth = librosa.feature.spectral_bandwidth(y=y_norm, sr=sr)
spectral_contrast = librosa.feature.spectral_contrast(y=y_norm, sr=sr)
spectral_rolloff = librosa.feature.spectral_rolloff(y=y_norm, sr=sr)
zero_crossing_rate = librosa.feature.zero_crossing_rate(y_norm)

Indicadores-chave de áudio deepfake:

• Contraste espectral reduzido na faixa de 4-8 kHz (vocoders comprimem detalhes de alta frequência)
• Centroide espectral anormalmente consistente ao longo do tempo (fala real tem variação natural)
• Menor variância na taxa de cruzamento por zero (fala sintética carece de micro-perturbações)
• Transições de formantes ausentes ou atenuadas em limites consoante-vogal

Etapa 3: Construir Vetor de Recursos e Classificar

Agrega recursos em nível de quadro em um vetor de comprimento fixo e classifica:

from sklearn.ensemble import RandomForestClassifier, GradientBoostingClassifier
from sklearn.model_selection import cross_val_score

def build_feature_vector(y, sr):
    features = []
    mfccs = librosa.feature.mfcc(y=y, sr=sr, n_mfcc=20)
    for coeff in mfccs:
        features.extend([np.mean(coeff), np.std(coeff), np.min(coeff), np.max(coeff)])
    for feat_fn in [librosa.feature.spectral_centroid,
                    librosa.feature.spectral_bandwidth,
                    librosa.feature.spectral_rolloff,
                    librosa.feature.zero_crossing_rate]:
        feat = feat_fn(y=y, sr=sr) if feat_fn != librosa.feature.zero_crossing_rate else feat_fn(y)
        features.extend([np.mean(feat), np.std(feat), np.min(feat), np.max(feat)])
    contrast = librosa.feature.spectral_contrast(y=y, sr=sr)
    for band in contrast:
        features.extend([np.mean(band), np.std(band)])
    return np.array(features)

A classificação usa uma abordagem de ensemble: Random Forest para robustez e Gradient Boosting para precisão, com um mecanismo de votação para reduzir falsos positivos.

Etapa 4: Análise de Artefatos Temporais

Examina artefatos no domínio do tempo que os vocoders neurais deixam para trás:

# Análise de estabilidade de tom - deepfakes frequentemente têm F0 anormalmente estável
f0, voiced_flag, voiced_probs = librosa.pyin(y_norm, fmin=50, fmax=500, sr=sr)

…