2010年-世界发展银行全球_Benchmarking___A_Tool_to_improve_the_Effectiveness_of_Monitoring_and_Evaluation_in_the_Policy_Cycle_4页_1mb

报告摘要

文档总结：基准测试在政策周期中的应用

核心内容

本文探讨了基准测试（Benchmarking）在政策周期中对监测与评估（M&E）的提升作用，特别是如何通过比较不同地区或子群体的表现来判断目标的合理性，并为政策制定和执行提供反馈。文章以巴西米纳斯吉拉斯州的犯罪率下降目标为例，说明了基准测试的具体应用方法。

主要观点

基准测试的作用：
- 提供背景：将某一结果置于更广泛的背景中，判断其表现是优秀、一般还是较差。
- 评估目标合理性：通过比较目标与参考群体的历史变化，判断目标是否合理。
- 识别驱动因素：通过分析表现极端的地区，识别影响绩效的关键因素。
目标设定的挑战：
- 目标设定往往与预算过程相关，但不一定直接挂钩。
- 如果目标设定过高，可能导致系统信誉受损或引发不满；如果目标设定过低，虽然不明显，但可能浪费资源。
- 目标设定需考虑不同地区初始条件的差异，避免一刀切。
基准测试的实施方法：
- 通过比较参考群体的绩效变化，判断目标是否具有挑战性。
- 使用百分位数分析（如图1和图2），展示不同地区在历史数据中的表现。
- 引入量化回归分析（Quantile Regression），控制地区特征，以更精确地评估目标的合理性（如图3）。
数据分析的建议：
- 在基准测试中，不仅要关注变化的相对性，还应关注变化的绝对水平，避免过于乐观或悲观的判断。
- 可以利用国际可比数据集（如世界银行的Data Development Platform、Edstats或HNPstats）进行基准测试。
- 对于更精细的分析，可以使用多变量统计分析来控制不同地区的特征差异。

关键信息

基准测试的三重作用：提供背景、评估目标合理性、识别绩效驱动因素。
数据来源：利用在线可比数据集和国家层面的子群体数据，如米纳斯吉拉斯州各警察地区的犯罪率数据。
分析方法：
- 无条件比较（图2）：基于历史变化的百分位数，判断目标是否合理。
- 有条件比较（图3）：通过量化回归分析，控制地区特征，生成更精确的反事实分布。
量化回归的优势：相较于普通最小二乘回归（OLS），量化回归可以分析不同百分位数下的绩效变化，从而更全面地理解目标的挑战性。
目标设定的注意事项：
- 需要结合地区初始条件和历史趋势。
- 避免设定过高或过低的目标，以确保政策的有效性和公平性。

结论

本文提出的基准测试方法具有广泛适用性，能够帮助政策制定者更好地理解绩效变化的背景，评估目标的合理性，并在目标设定过程中引入有效的反馈机制。通过使用量化回归分析，可以更精确地控制地区特征，从而生成更具针对性的比较标准。同时，建议在进行基准测试时，综合考虑变化的相对性和绝对水平，以确保分析的全面性和准确性。

参考文献

Azevedo, J. P. and Pizzolitto, G. V. (2009) Benchmarking: Análisis para la Republica Dominicana. Washington, D.C.: World Bank, LCSPP.
Newman, J.; Azevedo, J. P., Saavedra, J., and Molina, E. (2008) The Real Bottom Line: Benchmarking Performance in Poverty Reduction in Latin America and the Caribbean. Washington, D.C.: World Bank, LCSPP.
Peixoto, B., Cruz, M., and Azevedo, J.P. (2010) Gestão por Resultados em Minas Gerais: Uma avaliação das metas de redução de criminalidade. Belo Horizonte: Fundação Joao Pinheiro, NESP.