兰德-对严格的GPAI模型评估的初步建议（英）-2025.4_24页_603kb

这篇报告由RAND团队撰写，为通用目的人工智能（GPAI）模型评估提供了初步建议，旨在提高评估的内部有效性、外部有效性和可重复性。报告强调，当前GPAI评估存在统计严谨性不足等问题，因此需要借鉴机器学习、统计学、心理学等领域的最佳实践。

报告建议分为设计、实施、执行和文档化四个阶段：

• 设计：包括定义研究问题、控制变量、风险识别，以确保评估与现实世界相关。
• 实施：涉及工具选择、性能激发技术和人类参与者管理，以提升评估精确性。
• 执行：包括敏感性分析、盲法评估和基准测试，确保结果可靠性。
• 文档化：详细记录方法、数据来源和计算细节，便于验证和重复。

针对人类提升研究，建议使用分层随机化和控制实验条件；针对基准评估，建议使用验证数据集和防作弊机制。建议的目标受众包括GPAI模型提供者、第三方评估者和研究人员，报告基于欧盟AI法案的要求，并强调这些推荐为初步性和优先级导向，未来需通过成本-效益分析进一步优化。

总之，报告呼吁通过严谨评估标准来增强GPAI风险管理，但指出现有文献基于学术而非实践，限制了其广度。