2013年-世界发展银行全球_Evaluation_of_Development_Programs___Randomized_Controlled_Trials_or_Regressions__31页_371kb

总结：开发项目评估：随机对照试验还是回归分析？

核心内容

本文探讨了如何评估复杂的发展项目，特别是当这些项目涉及多个干预措施时，传统的随机对照试验（RCTs）方法可能并不适用。作者提出了一种新的评估方法——总项目效应（TPE），该方法是平均处理效应（ATET）的扩展，适用于存在处理异质性的情况。TPE 考虑了在实际世界中，处理变量和控制变量之间可能存在相关性，并且可以基于观察性数据进行估计。

主要观点

• 项目评估的复杂性：与单一干预的项目评估不同，复杂项目（如跨部门的教育或卫生项目）通常包含多个干预措施，难以明确区分处理组与对照组。
• 处理异质性：个体对干预的反应可能不同，这种异质性会影响项目评估结果，因此不能简单地将各部分的评估结果相加。
• RCTs 的局限性：即使在简单的项目中，如果处理分配不是随机的，RCTs 也可能无法准确估计项目总效应。此外，RCTs 通常不考虑处理与控制变量之间的潜在相关性。
• 回归分析的优势：回归方法可以处理处理异质性以及处理变量与控制变量之间的相关性，从而更准确地估计总项目效应。
• TPE 的定义与估计：TPE 是处理变量与个体处理效应的乘积的期望值，可以通过对观察性数据进行回归分析并考虑处理变量与控制变量的交互项来估计。

关键信息

1. TPE 的定义与模型

• TPE 是对项目整体效果的衡量，考虑了个体处理效应的异质性。

• 基于以下模型：

  $$
  y_{it} = \alpha X_{it} + \beta_i P_{it} + \gamma_t + \eta_i + \varepsilon_{it}
  $$

• 其中，$ y $ 是结果变量，$ X $ 是控制变量，$ P $ 是干预变量，$ \eta $ 是时间不变的未观测特征，$ \varepsilon $ 是误差项。

• TPE 定义为 $ E(\beta_i (P_{i1} - P_{i0})) $。

2. RCTs 与 TPE 的关系

• 在处理变量与个体处理效应独立的情况下，RCTs 可以用于估计 TPE。
• 但如果处理分配是基于未观测特征（如政策制定者根据预期效果进行分配），则 RCTs 无法准确估计 TPE，因为其设计不反映真实分配过程。
• 此时，RCTs 可能导致偏倚，而回归方法可以更有效地估计 TPE。

3. 处理与控制变量的相关性

• 处理变量 $ P $ 与控制变量 $ X $ 之间可能存在相关性，这会影响 TPE 的估计。
• 回归方法可以通过引入交互项来控制这种相关性，从而更准确地估计 TPE。

4. 外部效应与溢出效应

• 项目可能对其他单位产生外部效应，例如治疗村庄的政策可能影响未治疗村庄的健康结果。
• 为了处理这种溢出效应，可以在回归模型中引入邻近地区政策变化的代理变量。

5. 实证案例：越南健康保险项目

• 本文以越南健康保险项目为例，使用差分法（diff-in-diff）进行分析。
• 传统方法（不考虑异质性）可能低估或忽略项目的真实效果。
• 在考虑异质性后，TPE 显示出更显著的效果，特别是在身体体重方面，效果是传统方法的两倍以上。

方法比较

结论

• 在评估复杂发展项目时，RCTs 可能不够适用，特别是在处理分配不随机的情况下。
• 回归分析提供了一种更灵活的方法，能够估计总项目效应（TPE）并考虑处理异质性和变量相关性。
• TPE 是一种更合适的评估工具，尤其是在政策制定者根据未观测特征进行干预分配时。
• 实证分析表明，考虑异质性后，TPE 能更准确地反映项目的真实效果。

参考文献

• Duflo, E., et al. (2008)
• Deaton, A. (2010)
• Heckman, J. J. (1997, 2008)
• Chen, Z. et al. (2009)
• Wagstaff, A. and Pradhan, M. (2005)