2011年-世界发展银行全球_Impact_Evaluation_in_Practice_First_Edition_266页_3mb

报告摘要

总结：Impact Evaluation in Practice

核心内容

《Impact Evaluation in Practice》是一本关于影响评估的实用指南，旨在为发展项目和政策提供基于证据的决策支持。该书由世界银行与多位学者合作编写，涵盖了影响评估的基本概念、方法以及实际实施过程，帮助读者理解如何通过科学的方法评估政策和项目的效果。

主要观点

影响评估的重要性：影响评估是基于证据的政策制定的重要组成部分，它关注的是项目、政策或计划对个体福祉的实际影响，而非仅仅关注投入和产出。
方法论：书中介绍了多种影响评估方法，包括因果推断、随机选择、回归不连续性设计（RDD）、双重差分法（DID）和匹配法，每种方法都有其适用场景和局限性。
政策导向：影响评估应与政策制定紧密结合，通过明确的假设和目标来指导评估设计，并帮助政策制定者做出更有效的决策。
实践导向：书中强调影响评估应注重实际操作，包括样本选择、数据收集、结果分析和传播，以确保评估结果能够被有效利用。
伦理与实施：影响评估应考虑伦理问题，如公平性和透明度，同时应与项目实施紧密结合，以确保评估设计符合实际操作条件。

关键信息

第一部分：影响评估简介

第1章：为什么评估？
- 发展项目和政策旨在改变结果，如提高收入、改善学习或减少疾病。
- 影响评估强调对结果的归因，而非仅仅关注投入和产出。
- 基于证据的政策制定正在成为全球趋势，影响评估是其核心组成部分。
- 影响评估可用于测试政策效果和不同方案之间的比较，以提供全面的绩效信息。
第2章：确定评估问题
- 评估问题应基于“理论改变”（Theory of Change）和“结果链”（Results Chain）来构建。
- 假设的设定是评估设计的基础，决定了评估将关注哪些方面。
- 评估问题应明确，以确保后续分析的针对性和有效性。

第二部分：如何进行评估

第3章：因果推断与反事实
- 影响评估的核心是识别项目与结果之间的因果关系。
- 反事实估计是评估项目影响的关键，可以通过多种方法实现。
- 书中提到“完美克隆”（Perfect Clone）作为反事实估计的理想模型。
第4章：随机选择方法
- 随机分配是影响评估中最直接的方法，可以减少选择偏差。
- 书中介绍了两种随机分配的变体：随机分配和随机推广。
- 随机推广适用于项目逐步推广的情况，可以评估不同阶段的效果。
第5章：回归不连续性设计（RDD）
- RDD适用于存在明确阈值的项目，如补贴或现金转移计划。
- 通过比较阈值两侧的数据，可以估计项目的影响。
- RDD方法在实际应用中存在一定的局限性，如阈值选择和外部有效性问题。
第6章：双重差分法（DID）
- DID通过比较处理组和对照组在干预前后的变化，来估计项目影响。
- 该方法适用于政策或项目在时间上具有连续性的场景。
- DID也存在局限性，如对时间趋势的假设和数据质量要求。
第7章：匹配方法
- 匹配方法用于选择与处理组相似的对照组，以减少混杂因素的影响。
- 书中介绍了精确匹配和倾向得分匹配（Propensity Score Matching）两种方法。
- 匹配方法在实际操作中需要确保数据的可比性和样本的代表性。
第8章：方法的结合
- 在实际项目中，单一方法可能不足以准确评估影响，因此需要结合多种方法。
- 书中讨论了不完全遵从和溢出效应等复杂情况下的评估策略。
- 评估团队应制定备用计划，以应对数据不完整或方法失效的情况。
第9章：评估多维度项目
- 多维度项目需要考虑不同处理水平和干预方式的影响。
- 书中通过案例研究说明了如何设计交叉实验来评估多种干预方式的效果。

第三部分：如何实施影响评估

第10章：操作化评估设计
- 选择合适的评估方法取决于项目的具体操作规则和目标。
- 评估应考虑伦理问题，如公平性和对参与者的潜在影响。
- 建立一个高效的评估团队是成功实施评估的关键。
- 评估时间安排应考虑项目周期和结果的显现时间。
- 评估预算应合理分配，涵盖数据收集、分析和传播等环节。
第11章：选择样本
- 样本选择应基于项目目标和评估问题，确保样本的代表性和可靠性。
- 样本量的计算应考虑最小可检测效应（Minimum Detectable Effect, MDE）和统计功效（Power）。
- 书中提供了不同情境下的样本量计算示例。
第12章：数据收集
- 数据收集是影响评估的关键步骤，需要专业团队和详细问卷设计。
- 问卷应经过测试，以确保数据质量。
- 实地调查和数据处理是数据收集的后续步骤，需注重数据的准确性和完整性。
第13章：产出与传播评估结果
- 评估结果应以多种形式呈现，如报告、简报和政策建议。
- 传播评估结果应考虑受众和传播渠道，以确保信息的有效利用。
- 评估结果应与政策制定和项目改进相结合，以促进发展效果的提升。
第14章：结论
- 影响评估是发展政策和项目的重要工具，能够提供可信的证据。
- 评估应结合理论和实践，确保方法与项目操作相适应。
- 书中强调，评估应透明、可解释，并与政策决策逻辑框架结合。

附录与案例

附录：书中附有多个案例研究和图表，用于说明不同评估方法的应用和效果。
案例：
- 1.1：墨西哥的Progresa/Oportunidades现金转移计划：该计划通过现金转移激励家庭投资于儿童的人力资本，评估结果显示其在提高教育参与和减少儿童疾病方面具有显著效果。
- 1.2：印尼的计划生育与生育率评估：评估帮助政府优化资源分配，提高政策效果。
- 1.3：哥伦比亚的营养与认知发展评估：评估用于改进项目设计，确保资源的有效利用。
- 1.4：肯尼亚提高学校出勤率的策略评估：评估帮助政府选择成本效益最高的策略。