【国际清算银行】大海捞针：一种用于支付系统异常检测的机器学习框架_33页_2mb

报告摘要

总结：在支付系统中使用机器学习框架进行异常检测

核心内容

本文提出了一种灵活的机器学习（ML）框架，用于高价值支付系统（HVPS）中的实时交易监控和异常检测。该框架旨在应对HVPS交易量大、异常交易稀少、数据复杂性高以及缺乏预定义异常样本等挑战，从而提高系统安全性与金融稳定性。

主要观点

HVPS的重要性：高价值支付系统是国家金融基础设施的关键组成部分，其安全性和效率直接影响金融稳定和经济增长。异常交易可能源于网络攻击、操作中断、市场压力等，可能导致严重后果。
挑战：现有HVPS监控方法多依赖规则和人工判断，难以应对数据量大、异常稀少和复杂性高的问题。此外，缺乏预定义的异常样本和交易数据的高频率也增加了异常检测的难度。
框架设计：该框架采用分层结构，分为两个主要层次：
- 第一层（监督学习）：使用监督学习算法（如LightGBM）对交易进行分类，识别“常规”与“非常规”交易，从而减少第二层处理的数据量。
- 第二层（无监督学习）：仅对第一层识别出的“非常规”交易进行无监督异常检测，使用隔离森林（Isolation Forest, IF）算法，能够有效识别异常交易。
方法优势：
- 分层结构有助于提高检测效率和准确性。
- 使用非线性ML模型，避免了对预定义规则的依赖，提高了模型的适应性和泛化能力。
- 框架支持灵活的扩展性，允许集成其他ML模型以增强鲁棒性。

关键信息

1. 框架结构

第一层：基于监督学习的分类器，用于区分常规与非常规交易。
- 使用LightGBM算法，该算法具有高效的特征选择和处理能力。
- 分类依据为交易提交时间（如上午或下午）。
- 检测准确率达到93%，显著优于传统计量模型。
第二层：基于无监督学习的异常检测模型，用于识别非常规交易中的异常。
- 使用隔离森林算法，该算法通过构建隔离树来快速识别异常数据点。
- 异常评分机制基于平均分割次数（或路径长度），路径越短，异常可能性越高。
- 对人工修改的异常交易识别得分是原始交易的近两倍。

2. 数据与实验

数据来源：
- LVTS数据：2012年1月至2021年8月的加拿大HVPS数据，包含约8500万笔交易。
- Lynx数据：2021年8月至2023年8月的加拿大新HVPS数据，日均处理约4万笔交易。
- 数据包括常规交易、特殊日期（如节假日、疫情时期）和操作中断日等。
实验结果：
- 第一层模型在分类任务中表现优异，准确率高达93%。
- 第二层模型能够有效识别异常交易，人工修改的异常交易评分显著高于原始交易。
- 框架展示了良好的适应性和扩展性，适用于不同支付系统设计和交易特征。

3. 模型解释工具

使用基于Shapley值的SHAP方法解释模型输出，有助于理解交易特征对模型预测的影响。
- 局部解释：使用力图（force plots）分析单个交易特征对预测结果的贡献。
- 全局解释：分析交易特征对整个交易子集的平均影响，帮助系统操作者识别异常交易的原因。

4. 适用性与意义

该框架不仅适用于HVPS，还可扩展至其他金融系统异常检测场景，如信用卡欺诈、非法交易、财务报表欺诈等。
提出的框架为提升金融系统的操作韧性提供了技术支持，有助于及时发现并应对潜在风险。

结论

本文提出的机器学习框架为高价值支付系统中的异常检测提供了一种有效且灵活的解决方案。通过分层结构和非线性ML模型，该框架能够处理大量交易数据并识别罕见异常，同时通过SHAP方法增强模型的可解释性。研究结果表明，该框架在检测异常交易方面具有显著优势，适用于多种支付系统设计，有助于提升金融系统的安全性和稳定性。

展开完整摘要