中移智库：“弈衡”多模态大模型评测体系白皮书（2024年）_29页_1mb

“弈衡”多模态大模型评测体系白皮书总结

背景

随着人工智能技术的迅猛发展，特别是2017年 Transformer 模型提出后，多模态大模型（如 GPT-4V、Gemini、文心一言等）逐渐兴起，具备对文本、图像、视频和音频等多模态数据进行综合处理的能力，在生产生活和多个行业领域展现出广泛应用前景。然而，多模态大模型评测面临数据多样、任务丰富、方式复杂和成本高等挑战。为提升多模态大模型应用效果，中国移动技术能力评测中心联合业界权威机构，构建了“弈衡”多模态大模型评测体系，并编制此白皮书，旨在提供客观全面、公平公正的评测参考。

核心内容

1. 多模态大模型评测需求

“弈衡”体系将评测需求划分为识别、理解、创作和推理四类任务：

• 识别任务：如实例识别、物体计数、图像质量分析。
• 理解任务：包括场景理解、图像描述等。
• 创作任务：涵盖图像生成、风格转换、图像合成。
• 推理任务：如逻辑推理、数学推理等。

2. 评测体系结构

采用“2-4-6”层级架构：

• 2类评测场景：基础任务和应用任务
• 4项评测要素：评测方式、评测指标、评测数据、评测工具
• 6种评测维度：功能性、准确性、可靠性、安全性、交互性、应用性

3. 各类评测要素

• 评测方式：包括零样本、单样本、少样本和提示工程方法。
• 评测指标：客观指标（如准确率、F1分数）与主观指标相结合。
• 评测数据：需遵循丰富性、公平性和准确性原则。
• 评测工具：提供自动化、智能化的评测平台，支持多模态大模型的全面评测。

4. 六大评测维度

• 功能性：涵盖模型任务支持、多模态能力、功能完备度等。
• 准确性：识别模型预测准确度，区别于不同任务采用的不同指标。
• 可靠性：评测模型对噪声、对抗攻击等的鲁棒性以及输出的一致性。
• 安全性：避免毒害、偏见、歧视、违规使用等内容，保障合规安全。
• 交互性：关注模型响应延迟、连续对话能力、用户体验等。
• 应用性：考察模型在真实场景下的部署能力、稳定性、运维能力和使用效果。

5. 重要意义及展望

“弈衡”体系通过多维度、多角度的评测，为大模型的研发、迭代和应用提供科学、系统的技术基准及工具支持。其未来发展重点包括：

• 特定业务场景评测。
• 跟踪技术演进而不断优化评测体系。

此外，该体系可为中国移动等行业应用场景提供评测标准基线，助力推动国产大模型产业发展及落地应用。