兰德公司-透明度和重现性如何提高政策分析的可信度最低工资政策估算案例研究-2017.9-146页-4mb

总结：透明度与可重复性如何提高政策分析的可信度

核心内容

本论文探讨了如何通过提高政策分析的透明度与可重复性（TR）来增强其可信度。作者指出，即使是由非党派机构进行的政策分析，其可信度也常常不足，这导致政策制定者可以选择性地引用报告中的部分结论，从而形成“报告战争”。为了解决这一问题，作者借鉴了科学领域应对“可重复性危机”的解决方案，特别是透明与开放促进（TOP）指南，并将其应用于政策分析领域。

主要观点

• 透明度与可重复性的重要性：在政策分析中，缺乏透明度和可重复性意味着其可信度依赖于作者和机构的声誉，而不是分析本身的质量。这导致了对政策分析的误解和滥用。
• “不可信的确定性”问题：Manski（2013）指出，政策分析中普遍存在的“不可信的确定性”是指在报告中不披露不确定性，而采用强但未说明的假设。这种做法削弱了政策分析的可信度。
• 政策分析的黑箱问题：政策分析过程通常被视为黑箱，使得政策制定者难以理解其内部机制，从而难以评估新研究对政策估计的影响。
• 透明度与可重复性的提升工具：作者提出了两个关键工具：动态文档（如R Markdown或Jupyter Notebook）和开源版本控制（如Git），以提高政策分析的透明度和可重复性。
• 敏感性分析的价值：通过敏感性分析，可以识别出政策分析中哪些部分对结果影响最大，从而引导未来研究的方向。

关键信息

1. 研究背景与问题定义

• 政策分析旨在通过实证评估政策替代方案的影响，以支持政策制定者和利益相关方的决策。
• 透明度和可重复性不足导致政策分析的可信度受损，使政策制定者倾向于选择符合自身价值观的结论，从而影响政策决策的客观性。

2. 透明度与可重复性在科学中的教训

• 科学界已意识到透明度与可重复性问题，例如“文件抽屉问题”（Publication Bias）和“模型规格不透明”。
• 这些问题导致研究结果不可靠，影响了政策分析的可信度。
• 开放科学（Open Science）成为应对这些问题的重要方法，包括数据共享、代码开放、预注册研究设计等。

3. 案例研究：国会预算办公室（CBO）关于最低工资提高的报告

• CBO在2014年发布了一份关于联邦最低工资从7.25美元提高到10.10美元的影响报告。
• 该报告被支持者和反对者分别选择性引用，导致了对报告内容的误解。
• 作者通过将该报告转化为开源动态文档，提高了其透明度和可重复性，使分析过程更加清晰和可验证。

4. 提升透明度与可重复性的方法

• 作者将TOP指南的八个标准应用于政策分析领域，包括引用标准、数据透明度、分析方法透明度、研究材料透明度、设计与分析透明度、研究预注册、分析计划预注册和复制。
• 这些标准旨在确保政策分析的每一个环节都可被审查和复制，从而增强其可信度。

5. 敏感性分析

• 通过敏感性分析，作者展示了政策分析中某些传统上被忽视的要素（如支付工资增长损失的分布）对结果的影响。
• 这些要素可能比劳动需求弹性更为重要，因此需要更多的关注和研究。

研究目标

1. 将科学领域的TR指南转化为政策分析的实践

   • 作者总结了科学界在TR方面的现有知识，并将其应用于政策分析领域。
   • 提出了动态文档和开源版本控制作为提高TR的新工具。

2. 在实际政策分析中应用TR最佳实践

   • 作者以CBO的最低工资报告为案例，展示了如何将TR指南应用于实际分析中。
   • 通过创建开源动态文档，使分析过程更加透明和可重复。

3. 通过敏感性分析识别政策分析中的关键要素

   • 敏感性分析揭示了某些传统上被忽视的政策分析要素对结果的影响。
   • 这些要素对证据驱动的政策讨论具有重要价值。

研究结构

• 第一章：介绍问题、其重要性以及研究目标。
• 第二章：提供背景信息，包括科学领域TR问题的教训、政策分析在连接研究与政策中的作用，以及案例研究的描述。
• 第三章：描述TR指南的适应性及实施所需的工具。
• 第四章：展示TR指南在案例研究中的具体应用。
• 第五章：分析敏感性分析的结果，以识别政策分析中的知识空白。
• 第六章：总结研究发现，指出其局限性，并提出未来研究的扩展方向。

结论与延伸

• 提高政策分析的透明度与可重复性有助于减少选择性引用，增强政策分析的可信度。
• 该方法不仅适用于最低工资政策分析，也可推广至其他政策领域。
• 透明度的提升有助于自动化和系统化改进政策报告，从而提高研究效率和质量。

案例选择标准

• 可行性：数据、代码和专家联系方式的可获取性。
• 可扩展性：案例研究的结论是否适用于其他政策分析。
• 复发性：该政策问题在未来是否仍会频繁出现。

附录内容

• TOP指南总结：列出八个TR标准。
• TR检查表：为政策分析提供TR评估的框架。
• CBO报告模型方程：包括就业、工资和收入的计算方式。
• 关键定义：解释TR相关术语。
• 动态文档的打印版本：提供完整的政策分析过程。

引用名言

• “Evil is relatively rare, ignorance is an epidemic.” — Jon Stewart, 2014
• “Sunlight is said to be the best of disinfectants.” — Louis Brandeis, 1914

致谢

作者感谢导师Kristine M. Brown、Edward Miguel及其团队（BITSS）、以及委员会成员Susan Paddock、Chapin White和Sean Grant。此外，作者也感谢多位学者在研究过程中提供的反馈与支持，并特别感谢其妻子Erin Taylor在研究过程中的多方面支持。