NBER美国国民经济研究局-NBER-Assessing-External-Validity_23页_892kb

报告摘要

文档总结：评估外部有效性

核心内容

本论文探讨了因果研究中外部有效性的评估问题。虽然研究者通常关注内部有效性（即确保因果关系在研究样本中成立），但外部有效性（即因果关系能否推广到其他人群、情境或时间）对于研究结果的实际应用至关重要。作者提出了一种形式化且普遍适用的方法，用于评估随机对照试验（RCT）的外部有效性。

主要观点

内部与外部有效性的区分
- 内部有效性确保因果关系在研究样本中成立。
- 外部有效性关注因果关系在不同人群、情境和时间中的稳定性。
- 研究者常常混淆两者，导致过度泛化结果。
外部有效性的形式化定义
- 作者将外部有效性定义为条件分布 $\mathsf{p}(\text{outcome} \mid \text{treatment})$ 在不同人群中的稳定性。
- 他们提出了四种外部有效性的类型：
  - (1) 点状局部外部有效性：当 $\mathbf{w}_1 = \mathbf{w}_0$ 时，外部有效性成立。
  - (2) 局部外部有效性：在 $\mathbf{w}_1$ 接近 $\mathbf{w}_0$ 的小区间内，条件分布保持不变。
  - (3) 全局外部有效性：对于所有 $\mathbf{w}_1$，条件分布保持不变。
  - (4) 间接外部有效性：存在一个可调整的函数 $f(\mathrm{w};\theta_1)$，可用于修正估计值以推断其他人群的条件分布。
外部有效性的评估方法
- 作者提出了一种基于重新加权样本的方法，用于评估因果结论在不同人群中的适用性。
- 方法依赖于样本的重新加权，模拟不同可能的人群分布。
- 重新加权的样本通过 Mahalanobis 距离匹配治疗组与对照组的观测值，以生成新的代表性样本。
外部有效性的理论框架
- 作者使用概率密度函数 $\mathrm{D}(\mathrm{y}, \mathrm{z}, \mathrm{w}; \theta)$ 来描述人群差异。
- 他们提出，外部有效性评估的关键在于理解研究人群与目标人群之间的关系。
- 通过重新加权和重新构造样本，可以评估因果效应在不同人群中的稳定性。

关键信息

外部有效性的挑战
- 研究者通常缺乏关于人群变化的信息，因此需要做出假设以进行外部推断。
- 作者强调，外部有效性评估不应依赖于主观判断，而应基于数据驱动的方法。
评估方法的适用性
- 提出的方法适用于任何通过对比治疗组和对照组得出的估计量，包括平均处理效应（ATE）。
- 通过多次重新加权（如1000次），可以生成多种可能的人群样本，从而评估外部有效性。
文献回顾
- 已有文献主要关注特定人群的外部推断，如基于局部平均处理效应（LATE）或回归不连续设计（RDD）。
- 这些方法通常依赖于对人群间关系的假设，如处理组与非处理组的差异或时间变化的影响。
结论
- 作者认为，任何因果估计的外部有效性都需通过其他数据集的复制来验证。
- 提出的方法为研究者提供了一种系统、形式化且普遍适用的外部有效性评估框架。