NBER美国国民经济研究局-NBER-A-Journal_26页_402kb

文档总结：《“被选为领导者”对非自私行为的影响》的期刊复制实验

核心内容

本文讨论了通过期刊机制进行实验复制的可行性，并提出了一种“期刊复制”（journal-based replication）的新方法。该方法旨在提高实验研究的可靠性，通过在论文接受后、正式发表前，由期刊委托其他研究者进行复制实验。作者以他们在《公共经济学杂志》（Journal of Public Economics）中进行的复制实验为例，展示了这一机制的实施过程和结果。

主要观点

1. 复制的重要性
   近年来，社会科学研究的复制尝试显示了令人失望的结果。例如，Camerer 等人（2016）发现，只有 11/18 的经济学研究能够被成功复制，相比之下心理学研究的复制成功率更低。因此，需要更可持续的复制机制。

2. 期刊复制的机制
   期刊复制是一种新颖的机制，它要求在论文接受后但未发表前进行复制。这可以增强研究结果的可信度，同时也有助于提升外部效度。

3. 复制实验的实施
   作者认为，复制实验应尽可能“精确”地重复原始实验，包括样本量和实验设计，以确保结果的可比性。此外，复制费用可以通过多种方式解决，如在研究资助中加入复制预算、期刊收取复制费、或由期刊申请专项基金支持。

4. 复制结果的处理
   复制结果可以作为补充材料发表，或与原始研究合并。作者强调，应区分错误修正和新增结果，避免因复制结果而修改原始论文。

关键信息

实验背景

• 原始研究由 Drazen 和 Ozbay（2019）发表，探讨“被选为领导者”是否能促使领导者采取非自私行为。
• 实验中，参与者被随机分配为“候选人”或“公民”，在每轮中选择政策，其收益取决于政策与个人偏好之间的距离。

复制实验

• 该复制实验在西班牙瓦伦西亚大学进行，使用了相同的实验设计和代码。
• 复制结果意外地显示，在任命条件下，领导者更倾向于采取非自私行为，与原始研究结果相反。

复制结果分析

• 在原始数据中，选举组和任命组的非自私行为比例大致相等，但在复制数据中，选举组的非自私行为比例显著下降，而任命组则上升。
• 这一差异主要出现在最后 10 轮（第 11-20 轮），表明复制结果可能揭示了原始研究中未考虑的群体特征（如文化差异）对实验结果的影响。

复制过程中的挑战

• 在复制过程中发现了一些分析代码的小错误，但很快得到了修正。
• 在处理随机化方法时，出现了关于统计方法选择的讨论，但最终决定不修改原始分析。

期刊复制的潜在优势与问题

优势

• 减少发表偏倚：通过在论文接受前进行复制，可以降低“文件抽屉”问题（file-drawer problem）的风险。
• 提高研究可靠性：复制实验可以验证研究结果的稳定性，从而增强其外部效度。
• 促进科学透明度：复制结果的公开有助于提高研究的可验证性和科学讨论的透明度。

潜在问题

• 资金问题：复制实验需要额外资金支持，目前尚无明确的可持续资金来源。
• 作者与期刊的激励问题：原始作者可能不愿意接受复制结果，而期刊也可能因复制而减少实验投稿。
• 结果差异的解释：复制结果与原始研究不一致时，如何解释差异并保持研究的科学性是一个挑战。

未来展望

作者认为，期刊复制是一种可行且有益的机制，有助于提高实验研究的可靠性。然而，其推广仍需解决资金、激励和结果处理等问题。此外，复制实验应被视为对原始研究的补充，而非对其的直接修改。

附录信息

• 原始实验与复制实验均使用英语进行。
• 原始实验有 120 名参与者，分为 8 个会话（4 个选举组，4 个任命组）。
• 复制实验在西班牙瓦伦西亚大学进行，使用远程实验平台。

总结

本文提出并实施了期刊复制机制，以提高社会科学研究的可靠性。通过复制“被选为领导者”对非自私行为影响的实验，作者发现复制结果与原始研究相反，揭示了实验结果可能受参与者群体特征的影响。期刊复制作为一种可持续机制，具有提升研究可信度的潜力，但仍需进一步探索其实施方式和资金来源。