中国互联网协会-针对内容安全的人工智能数据标注指南-2020.9.24-13页_361kb

团体标准：T/ISC 0005—2020《针对内容安全的人工智能数据标注指南》总结

核心内容

本标准为人工智能数据标注过程提供系统性指导，重点围绕内容安全领域，规范数据标注的流程、操作规程、质量控制及后续模型训练与上线运行等环节。其目标是通过高质量的数据标注，为机器学习模型提供优质的训练样本，从而提升人工智能系统在识别违法、不良信息方面的准确性。

主要观点

• 数据标注是人工智能的“原料加工”过程，通过归类、整理、纠错、转录、翻译、添加标签等操作，使原始数据转化为机器可识别的格式。
• 数据标注需符合法律与安全要求，如《中华人民共和国网络安全法》等，同时应遵循个人信息保护规范（GB/T35273-2020）和去标识化指南（GB/T37964-2019）。
• 标注过程需结构化与系统化，涵盖需求承接、标注准备、正式标注、交付验收、模型训练、上线运行等多个阶段。
• 标注质量是核心关注点，需通过多种方式确保标注结果的准确性与一致性，包括多人验证、埋题验证、标注人员状态验证、机器验证等。
• 标注团队需具备专业能力与规范操作，包括数据标注员与质检人员的能力评估、培训、绩效管理等。
• 标注工具与平台应具备多功能性，支持多种数据类型的标注，并提供权限管理、流程管理、版本管理等功能。

关键信息

1. 标注流程架构

数据标注流程包括以下主要阶段：

• 需求承接
• 标注准备
• 正式标注
• 交付、验收
• 模型训练
• 上线运行

流程架构图见图1（注：实际文档中包含图1，此处未显示）。

2. 需求承接

• 需求接收：明确标注规模、形式、方法、标签标准、数据安全要求、数据格式、工期、准确率等。
• 需求评估：评估现有资源是否能满足需求，分析需求实现路径及影响范围。
• 需求确认：与需求方协商一致，形成需求文档并留存。

3. 标注准备

• 数据获取：确保数据来源合法、可行，符合个人信息保护要求。
• 数据预处理：包括数据去重、分类、聚类、主动学习、模型预处理等方法，以提升数据质量与标注效率。
• 操作规程：制定并传达标准化操作流程。
• 质检方案：制定包括质量责任人、抽样方法、反馈机制、指标计算等内容的质检方案。
• 工具/平台：根据需求选择或开发标注工具/平台，支持多种数据类型与功能模块。
• 人员能力：确保标注员与质检人员具备相应技能，并通过培训与考核进行能力验证。
• 试标注：在正式标注前进行小范围试运行，验证流程与方案的有效性。
• 制定标注方案：包括资源、人力、进度、质量、风险控制、应急预案等规划。

4. 标注实施

• 数据导入与任务安排：确保数据顺利导入并合理分配标注任务。
• 人工标注：由标注团队执行，需遵循已定的操作规程与质量控制方法。

5. 质量控制方法

质量控制方法	详细描述
多人验证	多人标注同一子任务，通过工具或人工辅助选择最优结果
埋题验证	在任务中加入已知测试题，验证标注人员水平
标注人员状态验证	监测标注人员的操作规范性、注意力、准确率等
机器验证	利用机器学习方法实时监控数据准确率，预警异常

6. 交付与验收

标注团队应按照确认的需求进行数据交付，需求方根据标准进行验收。若数据质量不达标，可要求标注团队进行修正，双方应保留相关成文记录。

7. 模型训练与验证

• 模型训练：使用人工标注数据，通过卷积神经网络、循环神经网络等算法训练模型。
• 模型验证：对模型预测效果进行分析与评估，确保其具备预期的识别能力。

8. 上线运行与持续改进

• 模型测试：在模拟环境中验证模型效果。
• 运营监控：上线后持续监控模型表现，确保稳定性。
• 持续改进：根据模型上线后的效果进行分析与优化，与标注团队协作改进标注方案。

参考文献

• GB/T 19001-2016 质量管理体系要求
• T/CESA 1040-2019 信息技术 人工智能 面向机器学习的数据标注规程