> **来源：[研报客](https://pc.yanbaoke.cn)** # 生成式人工智能系统密码应用指引总结 ## 核心内容 本文件《生成式人工智能系统密码应用指引》（版本1.0）由中国密码学会密评联委会发布，旨在为生成式人工智能系统的开发、建设和运营提供可参考的密码应用指导。文件聚焦于生成式人工智能系统的全生命周期安全防护，涵盖运行环境与基础设施安全、数据安全、模型安全、人工智能模型服务安全及智能体应用安全五大方面，系统识别关键安全威胁，并提出适配其技术特征的密码应用技术框架与措施。 ## 主要观点 1. **生成式人工智能系统安全挑战** 生成式人工智能系统因其动态性、复杂性与开放性，安全风险已从单一技术环节渗透到全生命周期。包括但不限于： - 基础设施的分布式架构暴露新的攻击面； - 模型参数的“黑箱”特性引发信任危机； - 数据的海量流动带来隐私泄露风险； - 生成内容的不可控性可能被恶意利用，引发社会风险。 2. **密码技术在系统安全中的作用** 密码技术作为网络安全的核心基石，贯穿生成式人工智能系统的全链路，包括： - 基础设施层的访问控制、数据加密； - 模型层的防篡改、防泄露、鲁棒性； - 应用层的身份认证、通信安全、操作审计等。 3. **密码应用分层与全生命周期覆盖** 文件构建了生成式人工智能系统的密码应用技术框架，从运行环境、数据、模型、应用等维度提出分层防护策略，并结合模型全生命周期（语料准备、训练、部署与推理、更新与退役）给出密码应用示例。 ## 关键信息 ### 1. 系统架构与分层 生成式人工智能系统由以下核心层组成： - **运行环境与基础设施层**：包括计算、存储、网络资源及安全框架； - **数据层**：涵盖预训练数据、优化训练数据和使用阶段数据； - **模型层**：包括基础模型与定制化模型； - **应用层**：涵盖模型服务与智能体应用。 ### 2. 安全风险分类 文件详细分析了生成式人工智能系统在五个方面的安全风险： - **运行环境与基础设施安全风险**：包括网络、计算、存储及供应链安全； - **数据安全风险**：涵盖预训练、优化训练和使用阶段数据风险； - **模型安全风险**：包括模型篡改、泄露及对抗攻击； - **应用安全风险**：涉及模型服务与智能体应用的风险； - **规划与控制安全风险**：包括任务规划、控制指令与执行逻辑的安全性。 ### 3. 密码应用技术框架 系统密码应用技术框架由以下四部分构成： - **运行环境与基础设施安全**：保障网络通信、计算资源、存储资源及供应链安全； - **数据安全**：保护数据的来源真实性、机密性、完整性； - **模型安全**：防止模型被篡改、泄露及对抗攻击； - **应用安全**：保障身份鉴别、通信安全、操作抗抵赖、生成内容溯源等。 ### 4. 密码应用措施 文件提出多种密码技术措施，包括： - **数字签名**：用于身份认证、数据完整性校验、操作抗抵赖； - **消息鉴别码（MAC）**：保障通信数据完整性； - **加密技术**：如同态加密、格式保留加密（FPE）、SM4对称加密等； - **可信执行环境（TEE）**：保障模型运行过程中的数据与计算隔离； - **数字水印**：用于内容溯源与泄露追溯； - **多方安全计算（SMPC）**：保障联合训练数据不泄露； - **差分隐私**：在训练过程中引入噪声，防止个体隐私泄露； - **零知识证明**：用于任务规划与控制指令的可验证性； - **可信时间戳**：用于操作记录的可追溯性。 ### 5. 密码应用示例 附录A、B分别提供了生成式人工智能训练系统、应用系统及智能体应用的密码应用示例，展示了密码技术在各阶段的具体应用方式。附录C提供了信息系统密码应用基本要求与安全措施的映射表，便于对照实施。 ## 结构概览 ### 8.1 通用安全要求 - 参考GB/T 39786-2021，提出密码应用的基本要求； - 强调密码措施的正确性与有效性验证。 ### 8.2 运行环境与基础设施安全 - **网络安全保护对象**：保障通信链路的身份鉴别、机密性与完整性； - **计算安全保护对象**：确保操作系统、运行框架、资源调度的来源真实性与完整性； - **存储安全保护对象**：保障敏感数据与模型文件的机密性与完整性； - **供应链安全保护对象**：确保组件、固件、模型参数的来源真实性与完整性。 ### 8.3 数据安全 - **数据通用安全**：包括加密存储、数字水印、数字签名等； - **预训练数据安全**：结合属性加密、同态加密、多方安全计算、差分隐私等； - **优化训练数据安全**：采用秘密共享、访问控制、数据脱敏等； - **使用阶段数据安全**：包括RAG数据安全、生成内容可信标识、智能体数据安全等。 ### 8.4 模型安全 - **模型防篡改**：通过数字签名、消息鉴别码保护模型文件完整性； - **模型防泄露**：通过加密存储、传输保护、内存加密等手段； - **模型鲁棒性**：采用差分隐私、消息鉴别码等防御对抗攻击。 ### 8.5 应用安全 - **人工智能模型服务安全**：包括身份鉴别、传输安全、操作抗抵赖、内容溯源； - **智能体安全**：涵盖身份鉴别、通信安全、执行环境安全、规划控制安全、监控审计安全。 ## 总结 本文件系统性地提出生成式人工智能系统全生命周期的密码应用技术指引，强调密码技术在系统安全中的核心作用，涵盖从数据采集、模型训练、部署推理到更新退役的各环节。通过分层防护、技术融合与安全措施的映射，推动生成式人工智能系统构建“技术可控、风险可防、责任可溯”的安全生态，助力人工智能与密码技术协同发展，落实《密码法》、《数据安全法》等法律法规要求。