兰德-Preparing-impact-submissions-for-REF-2014_-An-evaluation_-Findings-and-observations_58页_1mb

报告摘要

总结：Preparing impact submissions for REF 2014: An evaluation

核心内容

本报告由RAND Europe为英国高等教育资助委员会（HEFCE）及其在苏格兰和威尔士的对应机构委托，旨在评估2014年研究卓越框架（REF 2014）中研究影响评估的准备过程，并提出改进建议。报告基于对21所英国高等教育机构（HEIs）的系统性抽样调查，结合现场访问、在线调查、电话访谈和成本分析等方法，深入探讨了REF 2014中影响评估的实施情况、挑战和未来改进方向。

主要观点

1. 评估的影响与负担

好处：参与REF 2014的影响评估使HEIs能够识别和理解研究影响，激发更广泛的战略思考，提升对从事影响工作的学者的认可，并加强与外部利益相关者的联系。
负担：准备影响提交的总成本约为5.5亿英镑，其中每所HEI准备影响案例（REF3b）的平均成本约为7,500英镑，影响模板（REF3a）的平均成本约为4,500英镑。规模较大的HEIs能够通过规模效应降低单位成本。
挑战：需要“证据化”影响、对“影响”概念的理解、对时间框架和机构所有权的把握，以及研究用户对保密机制的信任问题。

2. 实施过程中的问题

多样性：HEIs在准备过程中表现出不同的态度，从支持到担忧。
代表性问题：提交的影响案例可能未能全面反映HEIs实际研究的影响。
对基础研究的潜在影响：影响评估可能促使HEIs更倾向于应用研究，从而削弱“蓝天研究”的地位。

3. 未来改进方向

明确指导：HEIs强烈希望HEFCE尽早明确未来REF轮次中影响评估的具体方式和标准。
稳定性：希望保持评估规则的稳定，避免频繁变动。
透明度：建议HEFCE提高对影响评估过程的透明度，以增强所有利益相关者的信任。
良好实践：一些HEIs已经采用良好实践来支持影响提交的准备，例如制定专门的研究影响战略、加强跨部门协作和使用影响模板来指导未来策略。

关键信息

样本与方法：21所HEIs被选为样本，涵盖123所有意提交的机构。通过126次现场访问和访谈、2,153份在线调查问卷（回收1,248份）、29次电话访谈和20所机构的成本估算分析，收集了大量数据。
评估结果：影响评估在HEIs中引发了广泛的文化变革，促使机构更加重视研究的广泛影响。
成本分析：准备影响提交的总成本约为5.5亿英镑，其中劳动成本占比较大，培训成本约占三分之一。
未来建议：建议HEFCE和研究资助机构在未来REF评估中提供更清晰、稳定的指导，并加强与学术界和研究用户的沟通，以确保评估的有效性和公平性。

结构概览

引言：介绍了REF 2014的背景、目标和评估方法。
影响与负担：分析了HEIs在准备影响提交过程中所感受到的益处和负担。
实施过程：探讨了HEIs如何准备和提交影响案例及模板，以及面临的挑战。
态度与后果：总结了HEIs内部及之间的态度差异，以及评估对研究实践的影响。
改进方向：提出了对未来REF评估的改进建议，包括明确指导、保持规则稳定、提高透明度和推广良好实践。
结论：强调了影响评估在推动研究文化转变中的作用，并指出其对研究质量的提升潜力。

图表与数据

图1-1：项目结构图，展示了评估的六个主要任务。
图1-2：各HEIs提交的全时当量（FTE）分布。
图1-3：选定HEIs的地理位置。
图2-1：20所HEIs准备影响案例和模板的估算成本。
图2-2：提交规模对每份影响案例成本的影响。
图2-3：影响案例数量与FTE的关系。
图3-1：影响案例作者在实施过程中遇到的挑战。
图3-2：受访者在开发影响案例和模板时遇到的挑战。
图3-3：18所HEIs在准备影响元素上花费的时间分布。
图4-1：各HEI对影响准备过程的态度。
图4-2：中央和院系员工对影响评估的正负面评价。
图4-3：四个评估小组对提交过程的正负面评价。
图5-1：HEIs对未来影响评估过程的改进建议。
图5-2：HEIs在准备影响提交时提出的改进建议。

附录与术语

附录：包括参考文献、缩写表和致谢部分。
缩写：涵盖了与研究评估相关的多种术语，如HEFCE、HEI、FTE、REF等。

结论

总体来看，REF 2014的影响评估过程在促进HEIs识别和展示研究影响方面取得了成功。然而，其实施过程中也暴露出一些问题，如高成本、对“影响”概念的理解不一、对研究用户负担的担忧以及可能对基础研究的负面影响。未来，为了确保影响评估的可持续性和有效性，需要更加清晰的指导、稳定的规则和增强透明度。

展开完整摘要

试读结束，高清完整版pdf/doc/ppt,请点下载