2014年-世界发展银行全球_Predicting_World_Bank_Project_Outcome_Ratings_20页_913kb

报告摘要

总结：预测世界银行项目结果评级

核心内容

本研究探讨了基于项目早期特征的实证模型在预测世界银行项目结果评级方面的表现。研究发现，这些模型的预测能力优于世界银行工作人员在项目执行期间提供的自我评估。研究重点在于识别当前项目中可能最终获得不满意评级（由世界银行独立评估组IEG评定）的项目，并通过模型进行预警，以便提前采取纠正措施。

主要观点

预测模型优于自我评估
- 实证模型在预测项目结果方面表现优于世界银行内部的“实施状态与结果”（ISR-DO）评分。
- 在样本期内（1995-2005），模型成功预测了46%的不满意项目结果；在样本外（2006-2012），预测准确率为40%。
- ISR-DO评分在项目早期（第一季）仅能正确预测3%的不满意项目，而在后期（第四季）能正确预测17%（样本内）或21%（样本外）。
关键预测变量
- 项目结果的主要预测变量为国家政策表现（CPIA评分）和项目负责人（TTL）的过往表现（其他项目的IEG评分）。
- 项目规模、准备时间、执行延迟、计划执行时间等变量也具有一定的预测作用，但其统计显著性较低。
模型的稳健性
- 模型使用的是基于项目早期可观察特征的预测变量，且在样本内和样本外均表现良好。
- 模型的预测能力稳定，且在不同项目阶段均具有一定的预警价值。
结合多种评估指标提升预测效果
- 将预测模型与ISR-DO评分结合使用，可以更有效地识别不满意项目。
- 在样本外预测中，结合使用模型与ISR-DO评分，可识别45%至66%的不满意项目，远高于单一指标的预测效果。
预测模型的应用价值
- 模型可以用于当前世界银行投资项目融资（IPF）项目的预警，识别出430个项目可能最终获得不满意评级。
- 模型预测的不满意项目比例（27%）与历史数据（1995-2012）一致，表明其具有实际参考价值。

关键信息

数据来源：研究基于1995至2012年间2729个IPF项目的数据，其中1561个项目用于模型训练与验证。
预测模型结构：模型基于项目特征（如项目规模、准备时间、执行延迟、计划执行时间、国家政策表现、TTL过往表现）进行预测，采用Probit回归方法。
预测阈值设定：模型通过设定预测阈值 $ q $ 来区分满意与不满意项目，目标是与历史数据中的满意项目比例一致（73%）。
模型评估：模型在样本内和样本外均表现出较好的预测能力，尤其在项目早期阶段，其预测效果优于ISR-DO评分。
模型扩展：研究还测试了使用ISR-IP评分（项目执行问题标志）和混合评分（同时使用ISR-DO和ISR-IP）的预测效果，结果显示模型仍优于这些指标。

结构清晰点

模型预测能力：40-46%的不满意项目被成功预测。
变量重要性：CPIA评分和TTL过往表现是最重要的预测变量。
预测误差：模型在预测不满意项目时具有较低的Type 1和Type 2错误率。
应用建议：预测模型可用于项目监控，提前识别可能失败的项目，减少“断开率”（IEG不满意评级与银行自我评估不一致的比例）。

图表说明

图1：展示了项目关键评估时间点和变量的时间线，包括项目概念说明（PCN）、项目评估文件（PAD）、实施状态与结果报告（ISR）、实施完成报告（ICR）和项目绩效评估报告（PPAR）。
图2a & 2b：对比了不同项目阶段的预测能力，显示模型在项目早期（按拨款或日历时间）的预测效果优于ISR-DO评分。
图3a & 3b：展示了模型与ISR-DO评分结合后的预测效果，显示模型在识别不满意项目方面具有显著的额外价值。