2024-12-22-中国软件评测中心-Top开源大模型安全测评报告_2024_27页_2mb

Top开源大模型安全测评报告(2024)总结

背景与目标

• 背景：联合中国软件评测中心等机构发布，响应国家政策，推动大模型向“负责任、可持续、高可靠”方向发展。
• 目标：评估12个安全维度下的20款开源大模型风险，提升厂商安全意识，为行业提供参考。

测评体系

1. 测评维度：涵盖国家安全、道德伦理、公共安全等12个领域。
2. 方法：
   • 多维度测试题库，通过API调用。
   • 结合规则匹配、大模型自动评分。
   • 计算单项风险比例，评估整体安全水平。

测评结果

总体情况

• 国内 vs 国外：国内模型（如qwen系列）整体风险低于国外模型（如LLaMa、Gemma）。
• 风险占比：公共安全、道德伦理等风险占比最高。

风险类型分析

1. 公共安全、道德伦理、不良信息、网络安全是风险最高领域。
2. 模型滥用与隐私泄露风险需加强防护。

检测方式

• 防护薄弱领域：内容重组、角色伪装、混合攻击等特殊指令易被利用。
• 防御能力：模型在主动防御和对抗攻击方面存在不足。

核心结论

1. 安全风险普遍存在：国内外开源大模型均存在安全漏洞，风险等级较高。
2. 国内表现优于国外：国内模型在安全性上整体更可靠。
3. 关键短板：
   • 攻击防御能力不足。
   • 内容安全防护薄弱。

建议

1. 行业自律：制定安全伦理准则，规范大模型开发与应用。
2. 厂商投入：加强安全研究，提升模型内生防护能力。
3. 产业应用：严查内容、模型与供应链风险，确保落地安全。

结束语

开放合作，推动人工智能安全生态建设。
引用《全球人工智能安全治理倡议》