全国网络安全标准化技术委员会：网络安全技术生成式人工智能服务安全基本要求（2024）_13页_268kb

GB/T XXXXX—XXXX《网络安全技术 生成式人工智能服务安全基本要求》标准草案总结

1. 范围与目的

本标准规定了生成式人工智能服务在安全领域的基本要求，涵盖了训练数据安全、模型安全、安全措施等，并提供了安全评估参考要点。适用于服务提供者的安全评估，也可供监管部门参考。其目标是帮助服务提供者明确网络安全基线，防范生成式人工智能服务面临的数据安全、个人信息保护及应用场景安全风险。

---

2. 主要内容

2.1 训练数据安全要求

• 数据来源安全
  • 采集前应对数据来源进行安全评估，违法信息比例超过5%的数据来源不得采用。
  • 强调数据多样性，支持多语言、多类型数据的平衡搭配。
  • 使用开源、自采或商业数据时需明确可追溯来源并履行授权职责。
• 数据内容安全
  • 对训练数据进行过滤，剔除违法不良信息。
  • 明确知识产权管理策略，建立投诉举报机制。
  • 收集个人信息需取得用户同意，敏感信息需单独授权。
• 数据标注安全
  • 标注人员应具备业务能力与安全意识，需培训考核上岗。
  • 标注规则需覆盖功能性与安全性要求，安全标注应覆盖31种风险。

2.2 模型安全要求

• 模型训练
  • 优化训练流程，将生成内容安全性作为评估重点。
  • 定期对开发框架、模型代码进行安全审计。
• 模型输出
  • 需提高生成内容准确性与可靠性，避免错误信息。
  • 明确拒答规定，避免响应违法或诱导性问题。
  • 对图像、视频等内容进行合法性标识。
• 模型监测与更新
  • 监测恶意输入攻击，建立应急处置机制。
  • 模型更新升级后应重新进行安全评估。
• 软硬件环境安全管理
  • 确保供应链安全，支持可信启动和隔离机制。

2.3 安全措施要求

• 服务适用性
  • 应根据场景风险程度实施个性化防护。
  • 对未成年人应加强保护，如防沉迷机制。
• 服务透明度
  • 公开服务用途、模型概要信息、数据使用方式等。
  • 提供指令关闭训练数据收集的便捷选项。
• 投诉举报与反馈机制
  • 建立多渠道用户反馈机制，设定处理时限。
• 内容审核与处置
  • 制定用户输入检测规则，对违法信息高发行为采取暂停服务等措施。
  • 设置监看人员，保障生成内容质量与安全。

---

3. 安全评估参考要点

标准提出附录B中安全评估的关键方法，包括构建关键词库、测试题库和拒答题库，采用人工与自动化抽检，开展多维度评估，验证模型的生成内容安全性、拒答能力及标签合规性。

---

4. 总结

本标准通过系统性规定生成式人工智能服务全生命周期的安全要求，旨在推动行业建立健全安全治理机制，在模型研发、服务交付及风险管理等环节提供清晰指引，为生成式人工智能在中国合法合规发展提供基础性标准支撑。