2010年-世界发展银行全球_When_Does_Rigorous_Impact_Evaluation_Make_a_Difference__The_Case_of_the_Millennium_Villages_54页_850kb

当严谨的影响评估真正起作用时：以千年村庄项目为例

核心内容

本论文探讨了在何种情况下，严谨的影响评估对发展项目至关重要，以及在何种情况下可能只是奢侈。作者以“千年村庄项目”（Millennium Villages Project, MVP）为例，分析了其影响评估方法的局限性，并指出更严谨的评估方法可以显著改变对项目效果的估计。

主要观点

• 严谨评估的重要性：严谨的影响评估方法能够更准确地区分政策的真实因果效应与相关性，避免对政策效果的误判。
• MVP项目的评估问题：MVP项目在其初始阶段的评估设计存在严重缺陷，包括主观选择干预和对照村庄、缺乏对照村庄的基线数据、样本量小、时间跨度短等，导致无法得出确切的项目效果结论。
• 评估方法差异带来的结果差异：使用简单的“前后对比”方法得出的MVP效果显著高于使用更严谨的“差异中的差异”方法，说明评估方法的选择对结果影响巨大。
• 未来改进方向：作者建议在未来的项目设计中，采用更科学的对照组选择和更长的时间跨度，以提高评估的准确性与可信度。

关键信息

项目背景

• 千年村庄项目（MVP） 是一项大型实验性干预项目，旨在通过综合措施促进非洲农村地区的可持续发展。
• 项目始于2004年，由联合国开发计划署（UNDP）、哥伦比亚大学地球研究所（Earth Institute）和千年承诺组织（Millennium Promise）联合实施。
• 项目覆盖14个村庄集群，总成本为每人每年150美元，相当于当地经济总量的规模。

评估方法对比

• 前后对比法：MVP采用的评估方法，仅比较干预村庄在项目实施前后的变化，但忽略了对照村庄的变化，因此无法准确评估项目的真实效果。
• 差异中的差异法：作者提出的方法，通过比较干预村庄与同国家、同地区及同省份农村地区的趋势变化，提供更合理的对照组，从而更准确地评估项目效果。

评估结果

• 基础设施改善：如卫生设施、饮用水来源等在所有三个国家均有所改善，但干预村庄的改善速度与对照地区相比并不显著。
• 免疫接种率：在所有三个国家，麻疹疫苗接种率均有所上升，但干预村庄的上升幅度并不显著高于对照地区。
• 教育和健康指标：如学校建设和儿童营养状况等指标的变化，也显示出干预村庄与对照地区趋势相似，说明MVP的效果可能被高估。

项目历史与教训

• 过去的村庄发展项目：如中国1930年代至1970年代的“模范村庄”、印度的“密集农业发展计划”（IADP）等，均因缺乏严谨评估而未能实现可持续发展。
• MVP的挑战：MVP虽然在某些指标上表现出改善，但这些改善可能并非由于项目本身，而是由于整体趋势或其他外部因素。
• 未来建议：作者建议未来的项目设计应包含基线数据、使用客观的对照组、扩大样本量和延长评估时间，以确保更准确地评估项目效果。

结论

本论文强调了在发展项目中采用严谨影响评估方法的重要性，并指出MVP项目由于评估设计的缺陷，无法得出确切的项目效果结论。作者认为，虽然MVP的初始评估方法存在局限，但通过更科学的评估方法可以显著提高对项目效果的判断。因此，MVP的评估应作为未来类似项目设计的参考，以确保政策的科学性和有效性。