Limpeza de Dados e Análise de Variáveis

Início Rápido

# Run the complete data cleaning pipeline
python ".github/skills/datanalysis-credit-risk/scripts/example.py"

Descrição Completa do Processo

O pipeline de limpeza de dados consiste nas seguintes 11 etapas, cada uma executada independentemente sem excluir os dados originais:

1. Obter Dados - Carrega e formata os dados brutos
2. Análise de Amostra por Organização - Estatísticas da contagem de amostras e taxa de amostras ruins para cada organização
3. Separar Dados OOS - Separa amostras fora da amostra (OOS) das amostras de modelagem
4. Filtrar Meses Anormais - Remove meses com contagem insuficiente de amostras ruins ou contagem total de amostras
5. Calcular Taxa de Ausentes - Calcula as taxas de ausentes gerais e por organização para cada recurso
6. Remover Recursos com Alta Taxa de Ausentes - Remove recursos com taxa de ausentes geral acima do limite
7. Remover Recursos com Baixo IV - Remove recursos com IV geral muito baixo ou IV muito baixo em muitas organizações
8. Remover Recursos com Alto PSI - Remove recursos com PSI instável
9. Ruído de Importância Nula - Remove recursos de ruído usando o método de permutação de rótulos
10. Remover Recursos com Alta Correlação - Remove recursos com alta correlação com base no ganho original
11. Exportar Relatório - Gera um relatório em Excel contendo detalhes e estatísticas de todas as etapas

Funções Principais

Descrição dos Parâmetros

Parâmetros de Carregamento de Dados

• DATA_PATH: Caminho do arquivo de dados (o formato parquet é o melhor)
• DATE_COL: Nome da coluna de data
• Y_COL: Nome da coluna de rótulo
• ORG_COL: Nome da coluna de organização
• KEY_COLS: Lista de nomes de colunas de chave primária

Configuração de Organização OOS

• OOS_ORGS: Lista de organizações fora da amostra

Parâmetros de Filtragem de Mês Anormal

• min_ym_bad_sample: Contagem mínima de amostras ruins por mês (padrão 10)
• min_ym_sample: Contagem total mínima de amostras por mês (padrão 500)

Parâmetros de Taxa de Ausentes

• missing_ratio: Limite geral da taxa de ausentes (padrão 0.6)

Parâmetros de IV

• overall_iv_threshold: Limite geral de IV (padrão 0.1)
• org_iv_threshold: Limite de IV de organização única (padrão 0.1)
• max_org_threshold: Contagem máxima tolerada de organizações com IV baixo (padrão 2)

Parâmetros de PSI

• psi_threshold: Limite de PSI (padrão 0.1)
• max_months_ratio: Razão máxima de meses instáveis (padrão 1/3)
• max_orgs: Contagem máxima de organizações instáveis (padrão 6)

Parâmetros de Importância Nula

• n_estimators: Número de árvores (padrão 100)
• max_depth: Profundidade máxima da árvore (padrão 5)
• gain_threshold: Limite de diferença de ganho (padrão 50)

Parâmetros de Alta Correlação

• max_corr: Limite de correlação (padrão 0.9)
• top_n_keep: Mantém as N principais características por classificação de ganho original (padrão 20)

Relatório de Saída

O relatório em Excel gerado contém as seguintes planilhas:

1. 汇总 - Informações de resumo de todas as etapas, incluindo resultados e condições das operações
2. 机构样本统计 - Contagem de amostras e taxa de amostras ruins para cada organização
3. 分离OOS数据 - Contagens de amostras OOS e amostras de modelagem
4. Step4-异常月份处理 - Meses anormais que foram removidos
5. 缺失率明细 - Taxas de ausentes gerais e por organização para cada recurso
6. Step5-有值率分布统计 - Distribuição de recursos em diferentes faixas de razão de valores
7. Step6-高缺失率处理 - Recursos com alta taxa de ausentes que foram removidos
8. Step7-IV明细 - Valores de IV de cada recurso em cada organização e geral

…