2024-09-29-美联储-用自举部分边际效应和Shapley值解释机器学习（英）_40页_1mb

总结：Bootstrapped Partial Marginal Effects and Shapley Values for Machine Learning Interpretation

研究主题

本文提出了一种通用方法，用于解释任意机器学习（ML）模型的边际关系，将其与传统线性回归类比，以便进行推断性分析和特征重要性的评估。

核心方法

1. Partial Marginal Effects (PME)

• 该方法计算偏依赖函数（Partial Dependency Function, PDP）的斜率，称为Partial Marginal Effect (PME)。
• PME 直接捕捉了目标变量相对于单个特征的边际变化（类似于线性回归系数），并通过自举法（Bootstrap）提供标准差和置信区间。
• 当应用于线性回归模型时，PME 严格等价于 OLS 回归系数。
• PME 可用于描述非线性模型中的非线性关系，并比较不同 ML 模型（如神经网络、支持向量机、随机森林、梯度提升树）的边际效应。

2. Shapley Values Extension

• 将 Shapley 值与 PME 结合（称为 SPDP，Shapley Partial Dependency PDP），用于解释变量在特定值下的平均贡献。
• 通过估计 SFIPDP（Shapley Feature Importance Partial Dependency Plot），衡量特征的重要性，即变量对模型输出贡献度的整体平均值。

实证应用与发现

• 住宅定价案例： 使用 Ames 房屋数据，包括 OLS、随机森林（RF）、梯度提升机（GBM）、支持向量机（SVM）和深度神经网络（DNN）模型。
• PME 显示：
  • 线性模型和光滑非线性模型（SVM、DNN）捕捉到房屋特征的非线性效应（例如，土地面积的报酬递减、房屋年龄对价格的复杂影响）。
  • 非光滑模型（如 GBM、RF）的 PME 图表现不平稳，更适合通过 PDP 而不是 PME 图进行解释。
• SPDP 和 SFIPDP 显示：
  • 2019 年和 2021 年数据中，买家偏好发生变化，特别体现在土地面积（需求上升）和房屋建造年份（新房子溢价下降或变成负溢价）上。
  • 具体应用中，表明自 COVID-19 后 Boise 市土地价值增加，新建房屋吸引力下降。

贡献与优缺点

• 贡献： 提出了一种模型无关工具（PME 和 SPDP），将 ML 模型的解释与传统（线性）回归类比，允许进行经济计量推断、可视化和统一回归表。演示了方法在非线性特征提取和随时间变化的偏好分析中的有效性。
• 优点： 模型无关性、允许进行传统回归类型的推断（点估计、标准差、置信区间）、描述非线性边际关系。
• 缺点/注意点：
  • 假设 Ceteris Paribus (保持其他特征不变)，这对存在交互变量的复杂模型可能隐含问题。
  • 方法需谨慎解释特征间的相互作用。

结论

本文展示了 PME 和 SPDP 是理解和解释 ML 模型输出的强大工具，使得分析师能够像解释传统计量模型一样，分析黑箱 ML 模型的因果效应和特征重要性。