2024-10-11-中移智库-_弈衡_多模态大模型评测体系白皮书（2024年）_29页_1mb

随着人工智能的快速发展，多模态大模型已成为科技领域的热点，涵盖了图文、视频等多种数据处理。中国移动提出的“弈衡”多模态大模型评测体系白皮书（2024年），旨在构建客观、全面的评测标准。该体系基于“2-4-6”层级架构，包括两个评测场景（基础任务和应用任务）、四项评测要素（评测方式、指标、数据、工具）以及六大评测维度（功能性、准确性、可靠性、安全性、交互性、应用性）。评测场景覆盖识别、理解、创作和推理任务，涵盖日常生活和行业应用，如内容创作、教育、金融等。

评测方式分为客观和主观两类，使用准确率等量化指标进行机器评估，针对创意任务引入人工打分；评测指标包括准确率、FID等客观指标和专家主导的主观评价，确保公平性；评测数据强调梯度设计，避免训练数据偏差；评测工具则通过智能化平台实现自动化，提升效率。体系还借鉴了MMBench等现有评测，指出四大挑战：特定场景适应性不足、实时性问题、评测体系需迭代，以及未来需聚焦领域化和动态调整。

总结来看，“弈衡”体系致力于促进大模型标准化和实际应用，由中国移动等机构主导，共同推动AI技术健康发展。

（字数：512）