兰德-Guidance-for-standardising-quantitative-indicators-of-impact-within-REF-case-studies_54页_1mb

总结：REF 2014 案例研究中定量影响指标标准化指南

核心内容

本报告由 RAND Europe 为英国高等教育资金委员会（HEFCE）及英国四所高等教育资助机构委托撰写，旨在为 2021 年研究卓越框架（REF 2021）中案例研究的定量影响指标提供标准化建议。该研究基于对 REF 2014 案例研究的分析，提出了两个主要类型的标准化指导：风格指南（style guide）和具体指导（specific guidance），以提高定量影响指标在案例研究中的可发现性和可聚合性。

主要观点

• REF 的目的：REF 是评估英国高等教育机构（HEI）研究质量的框架，强调研究对社会、经济、公共政策和健康等领域的广泛影响。
• 定量指标的重要性：定量指标在 REF 案例研究中被广泛使用，有助于更系统地分析研究影响，但当前格式缺乏统一性，影响了数据分析的效率。
• 标准化的目标：通过统一的“报告结构”和术语使用，提高定量影响指标的可发现性，便于后续对研究影响的分析与展示。
• 不评价指标有效性：本报告不评价 REF 2014 案例研究中使用的定量指标的效度或相对价值，仅提供标准化建议。
• 指导的适用性：标准化建议不是强制性的，而是为案例研究提供参考，以促进更清晰、一致的表达方式。

关键信息

1. 研究背景与目标

• 背景：REF 2014 首次系统性地评估了英国高等教育机构的研究影响，使用案例研究作为主要形式。
• 目标：
  • 识别 REF 2014 案例研究中使用的定量影响指标。
  • 开发标准化指南，以供 REF 2021 使用。

2. 研究方法

• 采用混合方法：文本挖掘与定性分析相结合。
• 研究周期为 9 周，主要包括以下任务：
  • 文献快速综述，了解可能用于影响案例研究的定量指标。
  • 构建数据集，包含所有可能含有定量影响指标的句子。
  • 内部研讨会，识别潜在标准化领域及对应标准。
  • 与 REF 环境工作组及高等教育领域专家进行讨论与访谈，测试建议的可行性。
  • 综合分析结果并撰写报告。

3. 标准化指导的分类

风格指南

• 内容：涵盖通用的风格建议，以提高定量影响指标在案例研究中的可发现性。
• 包括以下方面：
  • 数字：统一数字的使用方式，如是否使用逗号分隔千位数。
  • 百分比和比率：统一表达方式，如使用“%”符号，避免歧义。
  • 变化的衡量：如“增加”、“减少”等动词的标准化使用。
  • 时间周期：统一时间表达方式，如使用“年”、“月”等标准单位。
  • 单位：统一使用国际单位制（SI）或标准单位。
  • 货币：统一货币单位，如使用 GBP 或 USD，并明确汇率信息。

具体指导

• 内容：针对更具体和常见的定量影响指标提出标准化建议。
• 包括以下方面：
  • 参与度：如参与人数、项目参与率等。
  • 非学术文献和媒体报道提及：如文章数量、媒体报道次数。
  • 就业：如就业人数、职位数量、就业率等。
  • 财务数据：如收入、投资回报率（ROI）、经济价值（GVA）等。
  • 排放数据：如二氧化碳排放量、减排效果等。

4. 标准化的限制与挑战

• 本研究不涵盖定性数据的标准化。
• 某些指标可能以文字形式表达，但其潜在的定量意义未被分析。
• 部分数据可能与研究背景相关，而非直接反映影响。
• 标准化建议并非全面或最终的，仅基于高频和常见指标。

5. 结论与建议

• 标准化有助于提升定量影响指标的可发现性和分析效率。
• 提出的指导应作为案例研究撰写时的参考，而非强制性要求。
• 在使用定量指标时，需结合上下文和数值意义，避免误用或过度依赖。

结构清晰的指导内容

样式指南（Style Guide）

• 数字：建议统一数字格式，如使用逗号分隔千位数。
• 百分比和比率：建议使用统一符号和表达方式，避免歧义。
• 变化的衡量：建议使用一致的动词和术语描述变化，如“增加”、“减少”。
• 时间周期：建议统一时间单位，如使用“年”、“月”等。
• 单位：建议使用国际单位制（SI）或标准单位，避免混淆。
• 货币：建议统一货币单位，如 GBP 或 USD，并注明汇率信息。

具体指导（Specific Guidance）

• 参与度：建议使用明确的参与人数或参与率。
• 非学术文献和媒体报道提及：建议使用明确的提及次数或范围。
• 就业：建议使用就业人数、职位数量或就业率等指标。
• 财务数据：建议使用收入、投资回报率（ROI）、经济价值（GVA）等指标。
• 排放数据：建议使用二氧化碳排放量、减排效果等指标。

适用对象与意义

• 本报告主要为 REF 2021 案例研究的撰写者和评估者提供指导。
• 同时，其分析结果对其他研究评估相关利益方也具有参考价值。
• 标准化有助于提升研究影响的透明度和可分析性，为政策制定者和公众提供更清晰的证据支持。