融360-26页PPT详解自动化特征工程和自动建模在风控场景的应用-2020.8-26页_17mb

自动化特征工程和自动建模在风控场景的应用总结

核心内容

自动化特征工程和自动建模在风控场景中具有重要的应用价值，通过减少人工干预，提高模型构建效率和效果。该方案不仅提升了模型的时效性，还支持更全面的变量预处理、模型调参和监控机制。

主要观点

• 自动化特征工程：通过处理结构相似的基础数据，如运营商数据、信用卡账单等，可以构建出丰富的特征，如RFM模型中的Recency、Frequency、Monetary指标，以及设备、运营商、用户订单交互、多头等特征。
• 自动建模：支持多种算法并行或组合建模，包括逻辑回归（LR）、XGBoost、随机森林（Random Forest）和LASSO等，通过多种排序筛选方式（如IV值、随机森林得分、整体排名）优化模型表现。
• 特征筛选与优化：通过共线性筛选（如Pearson相关系数、VIF）和变量稳定性分析（如PSI、KS），确保特征的有效性和模型的可靠性。
• 变量预处理与分箱：自动分箱（等频率单调性）转换为WOE，同时支持人工调整，以确保业务逻辑的符合性。
• 模型监控与预警：通过配置文件实现模型的自动监控，支持变量、总分的详细分布对比和排序性对比，并定时输出日报、周报、月报邮件，提高监控效率和准确性。

关键信息

特征工程

• 基础数据结构：处理后的宽表数据包含时间型、分类型、数值型和标识型数据。
• RFM特征：通过分析交易时间、交易次数和交易金额，构建出多种特征，如近3天夜晚主叫通话时长和去重数等。
• 多维度特征：
  • 设备特征：分析设备与用户之间的交互行为。
  • 运营商特征：分析用户的通话习惯、流量使用和消费行为。
  • 多头特征：分析用户在其他机构的贷款和违约情况。
• 特征效果提升：使用自动特征（V3）相比人工特征（V2），AUC提升10%，特征挖掘耗时减少超过80%。

自动建模

• 模型表现：模型效果不仅受算法影响，还与样本范围、建模时间段、表现期定义、Bad定义和特征范围密切相关。
• 变量筛选：
  • IV值：用于评估变量的区分能力。
  • 随机森林得分：用于变量重要性评估。
  • 综合排名：结合多种指标进行变量筛选，确保模型的全面性和稳定性。
• 变量预处理：
  • 分箱方法：采用自动分箱（等频率单调性）并支持人工调整，以提高模型的可解释性和稳定性。
  • 变量稳定性：通过PSI监控变量分布的变化，确保模型的稳定性。
• 模型监控：
  • 监控输出：包括变量、总分的详细分布对比和排序性对比，以及KS值等模型效果指标。
  • 监控方式：支持定时输出日报、周报、月报邮件，并提供可视化工具，便于分析和预警。

配置文件与部署

• 配置文件：自动输出配置文件，简化模型部署流程。
• 配置文件内容：
  • xgb_bin_to_label.json：分箱与标签映射。
  • xgb_selected_rebin_spec.json：变量重新分箱规范。
  • xgb_var_transform_method.json：变量转换方法。
  • xgb_xgbmodel.pkl：模型文件。

监控与预警

• 监控内容：
  • 稳定性：变量和模型的稳定性分析。
  • 有效性：模型在不同样本和时间维度下的有效性评估。
• 监控方式：
  • 变量层级：监控变量分布和排序性。
  • 模型层级：监控模型整体表现和分箱稳定性。
  • 定时预警：支持定时输出监控报告，并进行预警。

应用优势

• 提升效率：自动化流程显著减少特征挖掘和模型构建的时间。
• 提高效果：自动特征和建模方法在模型效果上优于传统人工方式。
• 增强稳定性：通过PSI、KS等指标监控模型稳定性，确保模型在不同时间维度下的表现一致。
• 支持多样性：在减少特征的同时保留多样性，提高模型的泛化能力。

联系信息

• 北京总部
  地址：北京市海淀区中关村丹棱街甲1号互联网金融中心21层
  邮编：100086
  电话：（86-10）82625755

• 上海分公司
  地址：上海市静安区威海路567号晶采世纪大厦12B
  邮编：200041
  电话：（86-21）61703178

• 深圳分公司
  地址：深圳市福田区深南中路3018号世纪汇广场26楼2601-F
  邮编：518000
  电话：（86-755）33069368