兰德-Assessing-Research-Impact_-An-international-review-of-the-Excellence-in-Innovation-for-Australia-Trial_104页_1mb

报告摘要

总结：评估澳大利亚卓越创新计划（EIA）的影响评估试验

核心内容

本报告由RAND Europe撰写，旨在评估澳大利亚卓越创新计划（EIA）影响评估试验的成效，并提出改进建议和扩展思路。EIA试验是澳大利亚高等教育研究影响评估的重要试点，为未来可能与“卓越研究澳大利亚”（ERA）配套的评估体系提供了基础。

主要观点

EIA试验是成功的，但仍有改进空间
- EIA试验成功实现了其目标，即评估澳大利亚部分大学的非学术研究影响，并为未来ERA的配套评估提供了试点经验。
- 试验鼓励大学反思其研究的非学术影响，展示了通过案例研究方法评估研究影响的可行性。
- 然而，试验中仍存在一些可以改进的地方，如案例研究的质量、评估标准的完善等。
案例研究质量有待提升
- 案例研究的描述和影响性质的评分与总体评分高度相关，而研究如何支撑影响或影响的验证则相关性较低。
- 案例研究的模板和指导材料可以进一步优化，以提高研究者撰写案例的能力。
- 机构和研究者普遍对试验持积极态度，但部分案例存在技术性错误，如过于关注未实现的潜力影响。
应将研究的贡献纳入评估标准
- 当前EIA评估标准主要关注“影响范围”和“影响程度”，但忽略了研究本身的贡献。
- 未来应考虑将“研究贡献”作为评估标准之一，以更全面地反映研究对实际影响的推动作用。
建立研究影响的文化与期望
- 澳大利亚高等教育界已有一定的研究影响评估基础，未来应进一步推广这种文化，以满足公众和政策制定者对研究影响的期望。
- 大学需制定内部影响战略，不仅关注影响的管理，还要主动最大化其实际效果。
需理解未来评估的利弊
- 未来评估可能引发一些未预期的后果，例如机构可能试图在评估周期内“管理”影响的时间点。
- 需提前讨论和辩论这些问题，以确保评估过程的公正性和有效性。
若扩大规模，EIA需重新配置评估流程
- 若EIA要成为ERA的配套评估，需明确其主要目的，并可能调整分析单位。
- 当前以社会经济目标（SEO）代码为组织原则的方式可能过于宽泛，影响评估的多样性。
- 需考虑增加参与机构和案例数量，同时优化SEO代码的分类方法。
确保评估的经济合理性
- 未来EIA评估体系应确保其成本效益，即评估成本不应超过收益的十分之一。
- 每个案例研究的评估成本估计为5至10天（约合5万至10万澳元），若要使评估具有价值，需为每个案例分配相应的资金。
需提前与未参与机构沟通
- 未来若扩大EIA评估范围，应尽早与未参与的大学进行沟通，以确保评估体系的公平性和一致性。
- 需提供案例研究范例和指导手册，并推动整个高等教育界对研究影响的讨论和辩论。