中国移动核心网内生AI模型评测体系白皮书_20页_811kb

中国移动核心网内生AI模型评测体系白皮书总结

核心内容概述

本白皮书由多家中国移动子公司及华为、中兴等通信技术企业联合编写，旨在构建一套科学、系统、可落地的核心网内生AI模型评测体系。该体系聚焦于核心网AI模型在智能化转型中的评测需求，涵盖评测体系设计、实施流程、技术架构及实际案例，为模型的引入、优化与应用提供权威依据，推动网络智能化从“可用”走向“可信”与“可靠”。

主要观点

1. 评测体系的必要性

• 随着AI在5G-A和未来6G网络中的广泛应用，核心网内生AI模型的评测成为确保其稳定、高效运行的关键环节。
• 核心网AI模型与通用大模型存在本质差异，其评测需结合特定业务场景，依赖真实网络数据与仿真环境，不能简单套用通用评测框架。

2. 评测体系的四大核心目标

• 标准共建：形成统一的评测框架与标准，避免重复建设。
• 能力可信：通过多维度、多场景的评测，确保模型在复杂环境中的稳定性与有效性。
• 效率优化：推动自动化评测平台建设，提升评测效率与准确性。
• 生态协同：促进运营商、设备商、科研机构和垂直行业的协同，构建开放共享的AI模型生态。

3. 评测体系的五大维度

评测体系从模型性能、业务价值、工程运维、安全合规以及模型泛化能力五个维度构建指标体系，全面评估AI模型的适用性与价值。

4. 评测实施体系的三大核心组件

• 评测环境：包括实验室孪生环境和现网灰度环境，分别用于模型性能测试和业务价值评估。
• 自动化评测工具链：涵盖数据采集、预处理、模型监控、报告生成等环节，实现全流程自动化。
• 高质量测试数据集：通过真实数据采集与仿真数据合成，构建多样化、代表性和高质量的数据集，支撑模型评测。

关键信息

1. 评测流程

核心网AI模型评测体系遵循以下流程：

1. 需求分析：明确评测目标、指标定义与达标阈值。
2. 数据集构建：涵盖数据采集、清洗、标注与质检。
3. 环境搭建与评测执行：基于标准化流程进行模型测试。
4. 分析与报告：生成结构化报告，对比模型表现与基准。
5. 反馈调优：将评测结果反馈至模型研发端，推动模型迭代优化。

2. 评测指标体系

3. 评测案例

• 无线小区资源负载预测模型：基于NWDAF获取的历史PRB利用率数据，使用RNN进行时间序列预测，评估指标包括MAE、MAPE等，准确率可达95%以上。
• 融合时空信息的用户画像模型：通过信令数据、用户行为及套餐信息构建用户画像，支持交通环境识别与场所分类，采用自标注方式获取真实标签。
• 用户面业务识别模型：基于UPF智能识别用户业务，如抖音直播、短视频等，识别准确率高于95%，支持多种业务子类识别。
• 用户业务体验感知模型：通过UPF对用户体验进行感知，如卡顿、时延、分辨率等，构建20余万个测评单位数据集，准确率高于90%。

结构与实施建议

1. 评测体系总体架构

评测体系由业务场景、评测指标、评测实施、评测流程四部分组成，其中：

• 实验室孪生环境：提供高度可控、可重复的测试条件，适合压力测试、边界测试等。
• 现网灰度环境：用于业务价值与安全合规评估，提供真实数据支持，但需严格控制测试范围。

2. 数据工程流程

• 数据采集、清洗、标注、质检是构建高质量测试数据集的核心环节。
• 数据集需具备多样性、代表性、一致性、独立性、标注质量、时效性、可解释性七大关键特征。

3. 产业推进倡议

• 标准制定：推动在3GPP、CCSA等标准组织中建立统一的评测标准与流程。
• 技术研究：建设开放共享的评测平台，完善数据采集、标注、评测执行等技术流程。
• 试验与协同：通过多场景联合测试，共建共享评测环境与数据集，推动模型落地与产业协同。

总结

核心网内生AI模型评测体系是通信网络智能化演进的重要支撑，其构建需结合业务场景与网络特性，形成标准化、自动化与开放化的评测闭环。通过推动行业协作与技术创新，该体系将助力实现“自智网络”的目标，提升网络运行效率与用户体验，为通信行业的高质量发展提供坚实保障。