布鲁盖尔-Bias-against-novelty-in-science_-a-cautionary-tale-for-users-of-bibliometric-indicators_51页_1mb

报告摘要

本研究探讨了科学领域中对新颖性研究的偏见，指出传统文献计量指标可能低估了这类研究的长期价值，并对其产生不利影响。通过分析2001年发表在Web of Science中的773,311篇科研论文，研究者发现新颖性研究具有“高风险高回报”的特征，但其影响往往被短期指标所忽略。

新颖性定义
- 新颖性被定义为研究论文中引用的期刊组合方式是否前所未有。
- 研究者使用“知识距离”来衡量新颖性，即引用的期刊之间是否存在共同被引关系（co-citation profile），并基于此计算cosine相似度。
- 新颖性得分是通过将新期刊组合的难度（1 - cosine相似度）加总得出的。
新颖性与影响的关系
- 高新颖性论文在长期引用中表现更佳，更可能成为高被引论文。
- 高新颖性论文更可能激发后续高被引研究，并在跨学科领域产生更广泛的影响。
- 然而，新颖性研究的风险更高，其引用表现具有更大的方差，即更容易出现高被引或低被引的极端情况。
跨学科影响
- 高新颖性论文在“非本领域”（foreign fields）中更可能被高引用，而在“本领域”（home fields）中则较少被引用。
- 这表明新颖性研究可能在跨学科领域中获得更广泛的认可，但被其所在领域低估。
时间延迟效应
- 高新颖性论文的影响力通常需要较长时间才能显现。
- 短期引用指标（如Journal Impact Factor）可能无法准确反映其价值。
期刊影响力
- 高新颖性论文往往发表在影响因子较低的期刊中。
- 这进一步说明，传统指标可能偏向于评估已有成果，而非高风险的创新研究。

研究方法
- 使用Web of Science数据库，分析2001年所有学科的科研论文。
- 基于期刊引用组合的“新颖性”定义，构建了一个新颖性指标。
- 引用组合的新颖性由cosine相似度衡量，以反映知识距离。
数据与统计
- 773,311篇论文中，仅有11%的论文有新颖的引用组合。
- 高新颖性论文的引用数量平均比非新颖论文高12.04%，但其引用分布的方差也更大。
- 高新颖性论文在长期引用中更可能出现在高或低引用尾部。
研究发现
- 高新颖性论文比非新颖论文更可能成为“大热门”（top 1% highly cited）。
- 高新颖性论文更可能被其他“大热门”论文引用。
- 高新颖性论文更可能在跨学科领域产生影响，但在本领域中被低估。
- 高新颖性论文通常发表在影响因子较低的期刊中。

政策与实践影响
- 传统文献计量指标（如Journal Impact Factor和短期引用计数）可能对“高风险高回报”的新颖性研究产生系统性偏见。
- 这可能导致科研资助机构和学术评价体系偏向于安全、常规的研究，而忽视了具有突破潜力的新颖性研究。
建议
- 科学政策制定者应考虑使用更全面的评估方法，以识别和鼓励新颖性研究。
- 在同行评审中，应避免单一学科视角，以更准确地评估跨学科研究的价值。