20260122-全国网络安全标准化技术委员会秘书处-网络安全标准实践指南_人工智能应用安全指引总则_27页_840kb

网络安全标准实践指南 - 人工智能应用安全指引总则总结

核心内容概述

《网络安全标准实践指南 - 人工智能应用安全指引总则》是由全国网络安全标准化技术委员会秘书处组织制定的标准化文件，旨在为各行业领域开展人工智能应用提供安全指引。该指南涵盖人工智能应用的全过程，包括前期规划、设计开发、验证确认、部署、运行和监控、持续验证评估、退役下线等阶段，并依据《中华人民共和国网络安全法》《数据安全法》《个人信息保护法》等法律法规及多项行业规定制定。

主要观点

• 以安全促发展：强调通过高水平人工智能安全标准保障高质量发展，全面提升各行业人工智能应用的安全水平。
• 全过程管理：人工智能应用需覆盖其全生命周期，从前期规划到退役下线，每个阶段都应有明确的安全指引。
• 风险分级与防护：提出对人工智能应用进行安全风险识别与分级，实现资源的合理配置与精准治理。
• 安全能力提升：通过能力成熟度评估，提升人工智能各阶段的安全能力，确保其整体安全性。
• 人类控制优先：坚持“以人为本，可管可控”原则，确保人工智能在极端情况下可被人类干预与控制。
• 标准化与合规：鼓励各行业依据国家标准和相关法规，开展系统性安全工作，包括系统安全、个人信息安全、数据安全、密码应用安全、关键信息基础设施安全等。

关键信息

通用安全指引

1. 前期规划阶段：

   • 分析人工智能应用对伦理、经济和社会环境的影响。
   • 识别并分类安全风险。
   • 安全分级参考国家标准，分为五级：低、一般、较大、重大、特别重大。
   • 建立安全责任机制，明确第一责任人。
   • 制定监测预警和应急响应方案。

2. 设计开发阶段：

   • 提升人工智能技术的可解释性、公平性、鲁棒性等内生安全能力。
   • 对开源资源进行安全审计，关注框架安全与漏洞修复。
   • 规范训练数据来源与标注流程，确保数据安全与质量。
   • 采用安全透明的训练推理计算框架。

3. 验证确认阶段：

   • 针对可靠性、公平性、透明性等指标进行验证。
   • 采用人工验证、自动化评估、交叉验证等方式进行安全测试。
   • 测试内容包括生成内容防护、控制物理装置稳定性、重大决策的鲁棒性等。
   • 若测试不达标，可调优模型或重新设计开发。

4. 部署阶段：

   • 采用安全防护技术，拦截违法内容与攻击。
   • 对软硬件设备及第三方工具进行安全检测，防范漏洞与后门。
   • 根据部署环境采取不同的安全措施：
     • 公有云：数据加密、安全容器、操作审计。
     • 私有云：数据分类分级、访问控制。
     • 本地服务器：防火墙、入侵检测、权限管理。
     • 终端设备：用户数据不外传，需征得同意并进行影响评估。
   • 考虑算力配置的安全性，参考加速芯片安全规范。

5. 运行和监控阶段：

   • 对用户输入进行安全检测，采取技术措施保障生成内容质量。
   • 在舆论传播场景中，做好生成合成内容标识，确保标识有效。
   • 建立常态化监测机制与应急管理措施。
   • 制定应急预案，具备紧急关停、版本回退等能力。
   • 鼓励在涉及人身安全的应用中建立无条件救济保障机制。
   • 制定信息交互行为规范与安全运营机制。

6. 持续验证评估阶段：

   • 每年或在发现安全风险变化时，开展安全测试与调整。
   • 若发生重大风险或应用场景变化，需重新评估安全设计，必要时退回前期规划。

7. 退役下线阶段：

   • 评估必要性与影响范围，制定退役方案。
   • 确保原有用户完成迁移，避免安全问题。
   • 安全处置模型、训练数据、用户数据等，确保不可恢复，保留数据需遵循最小化原则。

规范性引用文件

• GB/T 25069：信息安全技术术语。
• GB/T 41867：信息技术人工智能术语。
• GB/T 42888-2023：机器学习算法安全评估规范。
• GB 45438-2025：人工智能生成合成内容标识方法。
• GB/T45652-2025：生成式人工智能预训练和优化训练数据安全规范。
• GB/T45654-2025：生成式人工智能服务安全基本要求。
• GB/T45958-2025：人工智能计算平台安全框架。
• TC260-PG-20211A：人工智能伦理安全风险防范指引。
• TC260-PG-202515A：生成式人工智能服务安全应急响应指南。
• TC260-PG-20261A：人工智能加速芯片安全技术规范。

术语与缩略语

• 人工智能（AI）：相关机制和应用的研究与开发。
• 人工智能系统：实现特定目标的工程系统，包含多种技术和方法。
• 机器学习：通过计算技术优化模型参数。
• 深度学习：训练具有多隐层的神经网络。
• 大模型：参数量一般不低于1亿的深度学习模型。
• 对抗样本：可导致模型错误输出的样本。
• 数据投毒：攻击者篡改数据以误导模型。

缩略语表

总结

该指南为人工智能应用提供了系统性、全过程的安全指引，强调安全风险识别、分级保护、能力提升、动态调整、责任机制等核心原则。各阶段均有明确的安全措施与评估要求，确保人工智能应用在法律框架内安全、可控地运行。同时，指南还提供了相关术语、缩略语、应用过程、角色划分等资料性内容，便于理解与执行。