世界银行-设计和分析强大的实验_应用研究人员的实用技巧（英）-2025.7_31页_661kb

总结：设计与分析有力的实验

核心内容

本文探讨了如何通过实验设计、实施和分析阶段的决策来提升随机实验的统计功效（statistical power），而不仅仅依赖于增加样本量。作者指出，统计功效是指在真实存在处理效应的情况下，拒绝零假设的概率。许多经济学实验由于设计不当或实施问题，可能缺乏足够的统计功效，导致无法有效检测处理效应。

主要观点

• 统计功效并非固定：一个实验可能对某一结果或估计量具有高功效，但对其他结果或估计量可能低。
• 设计阶段的影响：研究者可以通过选择更合适的估计量、处理方式、筛选样本以及减少残差方差和组内相关性（intra-cluster correlation, ICC）来提升统计功效。
• 实施阶段的影响：提高处理依从率、减少失访率、改进结果测量等措施可以增强实验的统计功效。
• 分析阶段的影响：通过选择不同的检验统计量、使用更有效的控制变量、引入信息量大的先验信息（informative priors）等方法，可以进一步提升统计功效。
• 样本选择的重要性：选择具有相似特征的样本可以减少残差方差，从而提高统计功效。
• 处理方式的选择：研究者应优先考虑少数但强度大的处理方式，而不是多个弱处理方式，以避免降低功效。
• 处理效果的测量：对处理效果的测量应尽可能靠近因果链条，以提高检测能力。

关键信息

1. 实验设计阶段

• 选择估计量：确定感兴趣的估计量（如意图治疗效应，ITT）可以影响统计功效。研究者可以选择更相关的子人群，以提高检测能力。
• 筛选样本：排除可能失访或不依从的单位，以及排除异常值（outliers），有助于减少残差方差，从而提高统计功效。
• 选择更集中的样本：使用同质性更强的样本（如仅研究单一作物的农户）可以减少组内相关性，提高统计功效。
• 处理效果的因果链条：选择更接近处理的因果链结果（如管理实践）可以提升检测能力，而不是遥远的经济结果（如出口额）。
• 处理方式的定义：选择连续、截尾（winsorized）或二元变量作为结果变量，会影响统计功效。例如，使用二元变量（如出口额是否超过一定阈值）可能比使用原始变量具有更高的检测能力。

2. 实验实施阶段

• 提高依从率：通过激励措施、提醒和等待名单等手段提高处理依从率。
• 减少失访：通过调查努力减少失访，提高有效样本量和统计功效。
• 精确测量结果：提高结果测量的准确性可以减少残差方差，使处理效应更容易被检测到。

3. 实验分析阶段

• 选择检验统计量：使用单边检验而非双边检验，可以提高统计功效。
• 调整估计量：将估计量调整为跨多个时间点的平均影响，有助于减少噪声，提高功效。
• 使用控制变量：通过引入滞后因变量（如AncoVA中的滞后变量）等控制变量，可以减少残差方差，从而提升统计功效。
• 引入先验信息：在贝叶斯分析中使用信息量大的先验信息，可以提升统计功效。

4. 集群随机实验的注意事项

• 组内相关性（ICC）：不同结果变量的ICC可能不同，例如教育结果的ICC通常高于经济结果。选择ICC较低的变量可以提高统计功效。
• 集群大小不均：集群大小不均会降低统计功效，建议使用均等大小的集群或调整估计量为集群平均效应。

实例分析：哥伦比亚出口提升项目

• 该项目涉及200家申请企业，但通过筛选（如排除失访可能性高的企业），样本被缩减至190家。
• 排除异常值（如大企业）可以显著提高检测能力，因为它们可能主导均值和标准差。
• 使用多个后续测量并计算平均影响，可以减少噪声，提高统计功效。

结论与建议

• 避免过度依赖样本量：在实际研究中，样本量往往受政策或预算限制，因此应通过其他方式提升统计功效。
• 精简处理方式：在首次研究中，建议使用较少但强度较大的处理方式，以避免降低功效。
• 关注因果链条：选择更接近处理的因果链结果，有助于提高统计功效。
• 合理调整估计量：通过调整估计量（如使用集群平均效应）可以提升检测能力。
• 利用数据特征：对数据进行合理转换（如截尾、对数变换）或选择合适的变量类型，有助于提高统计功效。

文献引用

• Duflo et al. (2007) 提供了实验设计的优秀综述。
• Glennerster and Takavarasha (2013) 讨论了最小可检测效应（MDE）的计算方法。
• McConnell and Vera-Hernández (2025)、Burlig et al. (2020) 和 Blair et al. (2023) 研究了非标准情况下的功效计算问题。
• Muralidharan et al. (2025) 指出因子设计在检测处理交互效应方面可能低效。
• Kasy and Sautmann (2021) 提出了适应性实验作为解决多处理臂问题的一种方法。