兰德-Assessing-impact-submissions-for-REF2014_-An-evaluation_109页_1mb

总结：REF 2014 影响评估过程的评估

核心内容

本报告由 RAND Europe 编制，旨在评估 REF 2014 中影响评估过程的实施情况，包括其优势、劣势以及未来改进的方向。评估基于焦点小组、访谈和调查等多种方法，涉及 6,975 个影响案例研究和 1,911 个影响模板的评估。报告指出，尽管影响评估是一个全新的评估维度，但整体上评估过程被认为是公平、可靠和具有严谨性的。

主要观点

1. 评估过程的公平性和可靠性

• 多数评估者认为过程公平可靠：超过 80% 的评估者认为影响评估过程是公平、可靠且合理的。
• 校准环节提高一致性：校准环节帮助评估者形成对影响的共同理解，确保评分的一致性。
• 评分一致性在不同角色和小组中得到认可：尽管有不同角色和小组间的差异，但评分一致性在整体上被认为是合理的。
• 主评估小组间存在不一致：部分评估者对主评估小组之间的评分一致性缺乏信心，但主评估小组内和子小组内的评分一致性较高。

2. 评估过程的灵活性与多样性

• 评估流程存在差异：由于各学科的差异，评估流程在不同子小组间存在一定的灵活性，但也可能导致不一致。
• 校准与评分规则的差异：校准和评分规则的实施方式在不同小组间有所不同，这反映了学科之间的差异。
• 评分等级的细化：所有主评估小组使用了半星制来细化评分，部分小组甚至使用了 8 星制来区分不同层次的案例研究。

3. 影响模板的评估挑战

• 模板比案例研究更难评估：评估者普遍认为影响模板比案例研究更难评估，因为它缺乏实证支持，更多依赖于写作质量。
• 模板可能被过度设计：一些评估者认为模板鼓励机构制定未来计划，但这些计划可能并不真实。
• 模板的价值存在争议：尽管有些评估者认为模板有助于理解机构如何支持研究转化，但也有人质疑其实际价值。

4. 评估者的负担与收益

• 网络与合作是主要收益：评估者普遍认为参与影响评估有助于建立学术和产业联系，促进合作。
• 评估过程负担较重：评估者的参与时间平均为 11 天，且部分评估者需在非工作时间完成任务。
• 学术参与者的收益：学术评估小组成员认为参与提升了对评估流程的理解，有助于未来提交更高质量的案例研究和模板。

5. 多方视角的融合

• 不同视角的融合带来积极效果：评估者认为，将学术界和研究用户聚集在一起，有助于形成共识，提高评估的全面性。
• 对学术行为的约束：评估过程在一定程度上规范了学术行为，促使研究人员更加注重研究的实际影响。

关键信息

• 评估流程的六个阶段：包括案例研究和模板的分配、校准、评分、审核、评分协调和最终评分汇总。
• 评分标准与阈值：评估者在判断案例研究和模板是否符合标准时，存在一定的主观性和差异。
• 评分结果：近 40% 的案例研究和模板被评为 4 星，超过 80% 被评为 3 或 4 星，显示整体质量较高。
• 未来建议：建议未来在评估中更加注重写作质量的指导，明确模板与案例研究之间的关系，以及提供更清晰的评分标准。

结构清晰要点

评估流程

• 案例研究和模板的分配
• 校准环节确保评分一致性
• 评分与协调
• 审核与验证

评估者反馈

• 正面反馈：
  • 评分过程公平可靠
  • 促进了学术与产业网络建设
  • 提升了对研究影响的理解
• 负面反馈：
  • 评分一致性在主评估小组间存在疑虑
  • 模板评估存在主观性，影响评分公正性
  • 评估过程耗时，对非机构人员负担较重

未来改进方向

• 明确评分标准和阈值
• 提高写作质量的指导
• 简化或优化影响模板的结构
• 加强透明度和一致性，特别是在主评估小组间

附录与参考

• 附录提供了评估小组的组成、调查问卷和访谈指南等详细信息。
• 报告基于多方面的数据，包括焦点小组、访谈和调查问卷，以确保评估的全面性和客观性。

总体结论

尽管 REF 2014 的影响评估过程存在一些挑战，如评分一致性、模板评估的主观性以及评估者的负担，但整体上被认为是一个成功且有价值的尝试。它为未来的影响评估提供了重要的经验和改进建议，有助于提升研究影响的评估质量和透明度。