2011年-世界发展银行全球_When_Does_Rigorous_Impact_Evaluation_Make_a_Difference__The_Case_of_the_Millennium_Villages_56页_866kb

文档总结：《When Does Rigorous Impact Evaluation Make a Difference? The Case of the Millennium Villages》

核心内容

本文探讨了在发展项目中，严谨的影响力评估（rigorous impact evaluation）何时是必要的，何时只是奢侈。作者通过分析“千年村计划”（Millennium Villages Project, MVP）这一典型案例，展示了不同评估方法对项目效果估计的巨大差异，并指出MVP的初始设计存在严重缺陷，使其难以进行真正的严谨评估。

主要观点

1. 影响力评估的重要性
   严谨的影响力评估有助于区分政策的真实因果效应与相关性，从而提供更可靠的政策证据。它通过“良好控制的比较”或“自然准实验”来识别项目的影响。

2. MVP的评估方法问题

   • MVP的中期评估报告采用的是“前后对比”方法，即比较项目实施前后村庄的变化，但这种方法忽略了对照组的基线数据，无法准确估计项目的真实影响。
   • 这种方法容易高估项目效果，因为它假设没有项目干预，村庄指标不会发生变化，而实际上可能存在其他因素导致变化。

3. 严谨评估的必要条件
   严谨的评估需要：

   • 选择具有代表性的对照组；
   • 有基线数据；
   • 足够大的样本量；
   • 长期跟踪数据。

4. MVP的局限性

   • MVP的初始阶段在设计上存在缺陷，如干预村庄的选择主观性较强、对照村庄缺乏基线数据、样本量较小、时间跨度较短。
   • 这些问题使得MVP难以进行有效的影响力评估，因此其效果仍存疑。

5. MVP的历史背景与目标

   • MVP起源于2000年的千年峰会，旨在通过综合性干预促进非洲农村地区的可持续发展。
   • 项目目标是“在五年内使非洲农村最贫困地区的人摆脱极端贫困”，并强调通过社区委员会和地方政府的能力建设来实现这一目标。
   • 项目成本约为每位村民每年150美元，相当于当地人均收入水平，因此其干预规模较大。

6. 过往类似项目的失败经验

   • 过去许多“模型村庄”项目（如中国、印度、坦桑尼亚、埃塞俄比亚、阿尔及利亚等）均未能实现可持续发展，甚至导致当地社会的不满与不信任。
   • 这些项目的失败通常归因于治理和行政体系的薄弱，而非干预本身。

7. MVP的潜在改进方向

   • 作者提出，未来的MVP干预可以采用更科学的评估方法，如比较项目村庄与同国家、同地区未干预村庄的长期趋势，以更准确地估计项目效果。
   • 这种方法虽然不是完全严谨，但比单纯的前后对比更有效，且成本较低。

关键信息

• 评估方法差异：MVP的中期报告使用“前后对比”方法，而作者提出使用“趋势对比”方法，以提高评估的客观性和准确性。
• 项目成本：MVP的干预成本为每位村民每年150美元，与当地人均收入相当。
• 项目目标：通过综合干预（如基础设施、教育、健康、农业等）促进农村经济发展，实现千年发展目标（MDGs）。
• 项目争议：MVP在启动前就被称为“极端贫困的解决方案”，并呼吁大幅扩大规模，但其效果尚未得到严谨评估的支持。
• 评估挑战：由于项目设计的局限性，无法进行严格的因果推断，因此需要更科学的评估方法。

结构清晰的总结

1. 评估的必要性与局限性

• 必要性：严谨的影响力评估有助于提高政策透明度和科学性，避免资源浪费。
• 局限性：在某些情况下，如MVP项目，由于设计缺陷，严谨评估难以实施，需权衡成本与收益。

2. MVP项目概述

• 起源：MVP起源于2000年的千年峰会，由联合国秘书长委托，由Jeffrey Sachs推动。
• 目标：通过综合干预促进非洲农村地区的可持续发展，实现MDGs。
• 实施地点：非洲14个村庄集群，首期在肯尼亚Sauri启动。
• 干预内容：包括基础设施建设、教育、健康、农业等领域的综合措施。
• 成本：每位村民每年约150美元，与当地人均收入相当。

3. 评估方法对比

• MVP的评估方法：前后对比，依赖项目内部数据，忽略外部趋势。
• 作者提出的替代方法：比较项目村庄与同国家、同地区未干预村庄的长期趋势，以估计反事实（counterfactual）。
• 评估结果差异：使用趋势对比方法后，MVP的效果估计显著低于前后对比方法。

4. 过往类似项目的教训

• 模型村庄项目：如中国、印度、坦桑尼亚、埃塞俄比亚、阿尔及利亚等国家的项目，均未能实现可持续发展。
• 失败原因：多为治理和行政体系的薄弱，而非干预本身。
• MVP的前景：尽管存在一些改进，但其效果仍需通过更严谨的方法进行验证。

5. 未来改进方向

• 设计改进：未来的MVP应采用更科学的评估方法，如趋势对比。
• 成本与收益：严谨评估虽需投入资源，但其带来的信息价值相对较低，因此在某些情况下可行。
• 重要性：对MVP进行严谨评估有助于避免重复过去的错误，并为类似项目提供参考。

作者贡献

本文通过分析MVP的评估方法，展示了严谨评估对政策效果判断的重要性，并指出在某些情况下，即使评估成本不高，也应优先考虑其准确性。作者认为，MVP的案例为理解发展项目评估提供了重要启示，应避免对未经过严谨评估的项目过度乐观。