2024中国信通院大模型安全研究报告-阿里云_31页_5mb

阿里云计算有限公司与中国信息通信研究院合作发布《大模型安全研究报告（2024年）》，系统梳理大模型安全风险并提出应对框架。报告指出，大模型技术正推动人工智能向通用强智能演进，但其商业化应用也带来新挑战，需通过治理原则、法律法规和技术标准构建安全体系。

大模型面临四类核心安全风险：训练数据安全、算法模型安全、系统平台安全和业务应用安全。训练数据风险包括违规获取、违法不良信息、投毒污染及质量低下等问题。算法模型存在鲁棒性不足、幻觉现象、偏见歧视及可解释性差等隐患。系统平台需防范未经授权访问、框架漏洞、逻辑缺陷和插件安全隐患。业务应用则需应对生成违法信息、数据泄露及用户恶意使用等风险。

针对安全挑战，报告提出两大框架：大模型自身安全和大模型赋能安全。自身安全框架涵盖安全目标、属性、保护对象及措施，包括数据合规获取、标注安全、数据集检测、增广合成及安全对齐数据集构建。算法模型保护措施包括内生安全评测、鲁棒性增强、幻觉缓解、偏见消除和可解释性提升。系统平台需加强安全加固和插件管控，业务应用则要完善输入输出防护、生成内容标识及用户协议管理。

大模型赋能安全在网络安全、数据安全和内容安全领域展现潜力。在网络安全方面，可用于智能威胁情报生成、漏洞挖掘、代码审计、攻击溯源及安全响应。在数据安全领域，可实现自动化分类分级和APP违规检测。在内容安全方面，可进行文本、图像视频及音频内容的智能检测。报告还提出构建L1-L4级别的安全成熟度模型。

未来展望显示，大模型将推动安全技术体系变革。短期需提升现有安全技术的智能化水平，长期则可能成为安全防护核心。需从治理框架和技术创新双方面应对风险，包括建立国际-区域-国家分层治理体系，发展价值对齐和生成内容检测技术。同时，大模型在多模态领域和跨行业应用中的发展将带来更多安全机遇与挑战。