2011年-世界发展银行全球_Behind_the_Scenes___Experience_Managing_and_Conducting_Large_Impact_Evaluations_in_Colombia_38页_551kb

文档总结：哥伦比亚大规模影响评估的幕后经验

核心内容

本文档总结了哥伦比亚在实施大规模影响评估（Impact Evaluation, IE）过程中的经验教训，特别是通过四个重要社会项目的影响评估实践，探讨了如何提高影响评估的质量和影响力。文章指出，尽管哥伦比亚的监测与评估（Monitoring and Evaluation, M&E）系统（SINERGIA）在2010年已成立15周年，但其在影响评估的制度化和实际应用方面仍面临诸多挑战。

主要观点

1. 影响评估的必要性
   随着越来越多的资源被投入到发展项目中，影响评估成为衡量项目效果的重要工具。哥伦比亚通过多个项目的影响评估，积累了丰富的经验，并逐步确立了其在发展管理中的重要地位。

2. SINERGIA系统的演变
   SINERGIA最初是作为一项临时性的绩效评估工具，后来逐步发展为一个涵盖更广泛评估方法的系统，特别是在社会保护项目中。该系统在推动影响评估制度化方面起到了关键作用。

3. 影响评估的挑战

   • 政府机构在管理评估方面的能力不足；
   • 部分关键利益相关方对评估的支持不够；
   • 评估过程尚未完全融入国家预算和政策制定流程。

4. 影响评估的关键成功因素

   • 明确的评估目标和范围：在项目启动前，必须清晰定义评估对象、范围、目标和方法；
   • 科学的方法选择：根据评估问题选择合适的方法论，如实验设计或准实验设计；
   • 质量控制机制：确保评估过程的严谨性和公正性，包括同行评审、专家小组等；
   • 利益相关方的参与与支持：建立激励机制，确保政府官员和项目管理者对评估结果有认同感；
   • 评估结果的传播与应用：将评估结果以清晰、易懂的方式传达给所有相关方，并确保其被用于政策改进和项目调整。

关键信息

项目背景

• 经济背景：哥伦比亚在1990年代末期经历了严重经济衰退，导致低收入家庭收入下降约35%。
• 政策响应：政府通过“社会支持网络”（Red de Apoyo Social, RAS）等项目，引入新的社会保护机制，以应对经济危机对弱势群体的影响。

四个主要项目

1. Familias en Acción (FeA)：有条件现金转移计划，目标是通过教育和医疗参与条件来提高低收入家庭的生活水平。
2. Jóvenes en Acción (JeA)：青年劳动力培训计划，旨在通过与私营部门合作，提升青年就业能力。
3. Hogares Comunitarios de Bienestar (HCB)：社区育儿计划，为低收入家庭提供托儿服务。
4. Sistema General de Participaciones (SGP)：财政转移政策，旨在改善地方政府间的资源分配。

评估过程特点

• 国际招标：FeA评估由国际团队进行，以确保独立性和透明度。
• 评估方法：采用随机分配和比较组设计，以控制偏差。
• 挑战与应对：政府对评估的不理解、评估启动的延迟、数据收集的困难等，均影响了评估的顺利进行。

方法论

文章采用案例研究方法，结合了：

• 文献回顾：对SINERGIA系统内的相关文件进行分析；
• 访谈：与政府官员、评估专家和项目管理者进行结构化访谈，以获取多角度的反馈；
• 实地调研：通过分析评估报告、学术研究和媒体报道，全面了解评估的实施过程和影响。

结论与建议

文章总结了五个关键经验：

1. 投资于高质量的评估框架和问题定义；
2. 选择合适的方法论以解决评估问题；
3. 建立质量控制机制；
4. 设计激励机制以促进评估的接受度；
5. 制定评估结果的传播与应用计划。

这些经验为其他国家开展影响评估提供了宝贵的参考，尤其是在制度建设和实施过程中的关键环节。

参考文献

• World Bank (2009a)：关于SINERGIA系统和影响评估实践的报告；
• OECD (2010)：关于评估质量标准的建议；
• DNP (2010)：哥伦比亚国家规划部关于影响评估实施情况的数据；
• Attanasio, Orazio (2009a)：对FeA项目评估过程的详细描述。

附录

附录中提供了四个项目的详细描述和主要特征，有助于读者更深入地理解每个项目的背景和评估过程。