网络AI服务质量指标和测试体系白皮书2026_31页_1mb

报告摘要

网络 AI 服务质量指标和测试体系白皮书总结

核心内容概述

本白皮书由 中国移动通信研究院、罗德与施瓦茨（中国）科技有限公司、唯亚威通讯、中关村泛联移动通信技术创新应用研究院、浙江大学 联合发布，旨在构建 网络 AI 服务质量（QoAIS）指标体系，并设计配套的测试床与测试方案，以应对 6G 时代 AI 服务与通信网络深度协同 的需求。

随着 5G 规模化商用 和 6G 技术研发 的推进，AI 技术（如生成式大模型、多模态 AI）的快速演进推动了通信网络从“数据传输管道”向“智能服务基座”的转变。网络 AI 服务具有 Token 流式传输、全链路推理、多模态并发、泛在接入 等特征，其服务质量不再由传统 QoS 指标（如带宽、时延、丢包率）决定，而是需要 传输、计算、模型、数据 四大要素的协同度量与保障。

传统 5G QoS 体系存在以下局限性：

无法适配 AI 业务的 动态流量特征；
静态模板 无法满足 AI 业务的 差异化调度需求；
仅覆盖传输环节，缺失算力、模型、数据等 AI 核心要素 的度量维度。

因此，构建 QoAIS 指标体系 成为 6G 时代网络 AI 服务保障的核心需求。

QoAIS 指标体系设计

QoAIS 体系采用 系统、任务、资源三层架构，实现从 用户服务需求 到 网络执行能力 的逐层映射与量化：

1. 系统级指标

AI 服务密度：单位面积与单位时间内满足 QoAIS 质量阈值的 AI 服务数量。
AI 服务系统能效：单位能耗可支持的 AI 服务数量，包括通信与计算能效。

2. 任务级指标

AI 任务时延：端到端 AI 任务响应时延，包括首 Token 时延（TTFT）、Token 间隔时延等。
AI 任务准确度：对于有标准真值的 AI 任务，统计推理结果与真值的一致性。
AI 任务能效：单位能耗可完成的 AI 任务数量。

3. 资源级指标

连接类指标：带宽、抖动、包时延预算、误码率、通信能效。
计算类指标：每秒浮点运算次数、计算精度、计算时延、计算能效。
模型类指标：模型准确率、模型复杂度、模型泛化性能。
数据类指标：数据完整度、数据冗余度、数据时效性。

测试床与测试方案

白皮书提出 端到端测试床 架构，支持 终端、网络仿真、AI 服务、数据解析 四大模块协同工作，实现对 AI 服务全流程的 可测、可比、可落地 的测试能力。

1. 测试床架构

终端模块：采集用户体验指标，如首 Token 到达时延、Token 间隔、交互流畅度。
网络仿真模块：模拟无线环境与信道特性，支持多部署形态（云端、边缘、端侧）测试。
AI 服务器模块：支持不同部署形态的大模型（如 Qwen-Plus、Qwen-Flash），提供模型推理时延、算力占用等计算类指标。
数据解析模块：统一汇总与分析测试数据，输出 QoAIS 指标统计与评估报告。

2. 核心指标测试方案

资源级测试：通过控制变量，单独测试连接、计算、模型、数据等维度的性能表现。
任务级测试：以单用户单次任务为单元，贯通端网云全链路，量化用户体验。
系统级测试：模拟多用户并发场景，评估系统承载能力与综合能效。

典型测试用例与分析

1. 偏差无线环境下不同部署方案性能测试

测试对象：Qwen2-0.5B 模型，分别部署于终端、边缘服务器、云端。
结果：终端部署的 TTFT 平均 1.53s，边缘部署 2.77s，云端部署 3.88s。
结论：终端部署在无线质量劣化场景下表现最优，可保障实时交互体验。

2. 信道波动对 LLM 交互体验测试

测试对象：LLM 部署在边缘，叠加 TCL300 衰落信道与 100ms 时延抖动。
结果：TTFT 从 3.88s 增长至 7.85s，时延接近翻倍。
结论：信道波动显著影响 LLM 交互体验，需优化网络资源管理。

3. 不同 LLM 模型规格性能测试

测试对象：Qwen-Plus 与 Qwen-Flash 模型，统一部署于云端。
结果：Qwen-Plus TTFT 为 2.84s，Qwen-Flash 为 1.01s。
结论：模型复杂度提升带来的性能增益有限，资源消耗显著上升，需根据业务需求进行模型选型与资源匹配。

4. 对话上下文对 LLM 性能影响测试

测试对象：LLM 部署于云端，测试单轮与两轮对话上下文对 TTFT 的影响。
结果：P95 TTFT 从 159ms 增长至 234ms。
结论：多轮对话会显著增加首 Token 时延，需通过优化上下文管理与网络调度来改善体验。

5. 多用户并发 LLM 系统承载性能测试

测试对象：LLM 部署于云端，模拟用户从 10 人到 50 人并发接入。
结果：TTFT 从 41ms 增长至 251ms，TTLT 从 901ms 增至 5474ms。
结论：并发压力显著影响系统性能，需引入 负载均衡、任务调度、边缘下沉 等机制优化系统承载能力。

未来展望

白皮书指出，当前 QoAIS 体系已初步验证其可行性，但仍需进一步完善：

扩充测试场景：覆盖多模态 AI、AI Agent 协同等复杂场景。
完善指标验证：对 QoAIS 三层指标进行全面测试与校验。
迭代优化测试体系：提升自动化测试能力，形成标准化、可复用的网络 AI 测试规范。

通过持续优化测试体系与指标，推动 网络、计算、AI 深度协同，助力 6G 网络 AI 技术与业务的协同发展，加速 AI 服务的规模化商用与高质量落地。

关键信息总结

QoAIS 体系：系统、任务、资源三层架构，覆盖传输、计算、模型、数据四大要素。
测试床设计：支持终端、网络仿真、AI 服务、数据解析模块，可模拟多种无线环境与部署形态。
核心指标：TTFT、Token 间隔、系统能效、模型泛化性能、数据完整度等。
测试场景：涵盖偏差无线、信道波动、多模型对比、多轮对话、多用户并发等。
测试结论：终端部署、边缘优化、动态调度是提升网络 AI 服务体验的关键手段。

缩略语

缩略语	英文全名	中文解释
5QI	5G QoS Identifier	5G QoS 标识符
AI	Artificial Intelligence	人工智能
AIGC	Artificial Intelligence Generated Content	人工智能生成内容
CCSA	China Communication Standardization Association	中国通信标准化协会
CDL	Clustered Delay Line	簇延迟线
HST	High-Speed Train	高速铁路
LLM	Large Language Model	大语言模型
NTN	Non-terrestrial Network	非地面网络
PDU	Protocol Data Unit	协议数据单元
PSNR	Peak Signal-to-Noise Ratio	峰值信噪比
QoS	Quality of Service	服务质量
QoAIS	Quality of AI Service	AI 服务质量
SCS	Subcarrier Spacing	子载波间隔
SGCS	Square Generalized Cosine Similarity	平方广义余弦相似度
SLA	Service Level Agreement	服务水平协议
To B	To Business	面向企业
To C	To Consumer	面向消费者
TTFT	Time To First Token	首 Token 生成时延
TDL	Tapped Delay Line	抽头延迟线