2025年高质量数据集建设指引_55页_1mb

高质量数据集建设总结

一、背景与意义

• 党中央高度重视高质量数据集建设，将其视为人工智能发展的核心要素。
• 数据需求从“量级积累”转向“量质并重”，高质量数据集建设进入系统化阶段。

二、概念与分类

• 概念：包含特征、标签、元数据、样本，体现“大、牢、正、好、广”。
• 分类：
  • 模态维度：单/多模态数据集。
  • 模型阶段：预训练、微调、评估数据集。
  • 应用场景：通识、行业通识、行业专识数据集。

三、应用需求

• 分为基础认知层、场景理解层、行动规划层：
  • 基础认知层：海量数据支撑通用能力。
  • 场景理解层：精细化标注与语义信息丰富。
  • 行动规划层：强调推理严密性与价值对齐。

四、建设现状

• 全球：通识与行业数据集并行推进。
  • 通识：如Common Crawl、PubMed。
  • 行业：欧盟高价值数据集法案，美国医疗与金融领域布局。
• 国内：
  • 截至2025年，建设高质量数据集超3.5万个。
  • 区域建设：成都、沈阳等多地形成特色产业集群。
  • 行业建设：央企、大模型企业、科研机构协同推进。

五、主要挑战

• 数据供给：结构性短缺、流通壁垒。
• 技术应用：清洗、标注工具链不完善，缺乏有效治理引擎。
• 标准规范：分类与质量评测体系不健全。
• 安全合规：脱敏技术瓶颈，敏感数据开放受限。
• 商业模式：数据反哺算法周期长，价值转化滞涩。

六、建设方法

主要模式：

• 场景驱动（需求引导）
• 数据驱动（规模导向）

核心环节：

1. 数据需求
2. 数据规划
3. 数据采集
4. 数据预处理
5. 数据标注
6. 模型验证

###核心技术：

• 多源数据融合采集
• 数据清洗与智能标注工具
• 特征选择与语义转换
• 非结构化解析技术等

七、运营体系

• 体系规划：知识索引、资源盘点、全生命周期标准化。
• 工程建设：需求管理、测试交付、运维管理。
• 运营管理：生态协同、质量监控、成本优化、用户服务。

八、推进思路

• 体系化布局：分工协作、建设重点、标准完善、技术攻关。
• 设施化推广：数据中心、目录管理、集成应用平台。
• 生态化发展：联盟平台、制度创新、人才培养、共建共享。

九、政策支持

• 国家出台系列政策鼓励高质量数据集建设，2024年起进入快车道。
• 多部门联合推动标准制定、评测体系完善、产业发展。