工信安全：大模型赋能智慧办公评测报告-PPT生成_34页_16mb

大模型赋能智慧办公评测报告——PPT生成总结

核心内容概述

本报告由国家工业信息安全发展研究中心人工智能所人工智能融合发展与安全应用实验室发布，旨在评估大模型在智慧办公场景中PPT生成应用的表现。评测围绕8个常用场景和2个特殊场景，从意图理解、生成质量、排版美化、基础性能和可信保护五个维度对8款主流PPT生成产品进行分析，为用户选择与使用提供参考。

主要观点与关键信息

评测体系

• 一级指标：意图理解、生成质量、排版美化、基础性能、可信保护
• 二级指标：共21项，涵盖多源输入、完整性、准确性、流畅性、逻辑性、专业性、充实性、排版布局、色彩搭配、字体选用、配图水平、形式丰富、响应力、稳定性、编辑性、沟通交互、辅助功能、过滤机制、隐私保护、产权标识等
• 平均得分：各维度平均得分分别为75.54（意图理解）、70.05（生成质量）、71.08（排版美化）、71.8（基础性能）、65.63（可信保护）

测试对象

评测选取了以下8款PPT生成产品：

评测场景设计

• 常用场景：教育培训、学术报告、工作总结、产品营销、产业研究、项目管理、活动策划、党建工作
• 特殊场景：歧义信息、偏见歧视、敏感信息、犯罪活动

评测结果

意图理解

• 总体表现：平均得分75.54分，整体较强
• 多源输入：所有产品支持指令输入，75%支持文档上传
• 理解能力：头部产品在产业研究、产品营销等理论类场景表现较好，而实践类场景如工作总结、活动策划理解能力较弱
• 特殊场景表现：对于“特种兵旅游”等较难理解的场景，多数产品存在理解偏差

生成质量

• 总体表现：平均得分70.05分，整体“可用”
• 完整性：50%产品每次生成均包含完整PPT结构，其余部分存在空白页或结构不完整
• 准确性：平均得分66.41分，部分产品存在事实性错误或编造数据
• 流畅性：平均得分71.61分，整体较高，但存在语法错误和重复内容
• 逻辑性：平均得分69.53分，多数内容符合逻辑，但存在前后矛盾和拼凑感
• 专业性：平均得分63.28分，整体较弱，仅头部产品在特定场景表现较好
• 充实性：平均得分67.97分，部分产品内容充实，提供数据与案例支持

排版美化

• 总体表现：平均得分71.08分，排版布局和色彩搭配表现较好
• 排版布局：平均得分74.22分，多数产品布局合理，但存在内容与模板不匹配、段落未对齐等问题
• 色彩搭配：平均得分78.13分，大多数产品色彩和谐，部分存在不协调
• 字体选用：平均得分70.83分，多数产品字体统一，但存在颜色突兀或看不清的情况
• 配图水平：平均得分64.32分，多数产品配图与内容相关性不高，清晰度不足
• 形式丰富：平均得分67.45分，部分产品模板丰富，但多数内容形式单一

基础性能

• 总体表现：平均得分71.8分，响应力与稳定性表现良好
• 响应力：平均生成速度为7.16秒/页，最快为1.57秒/页，最慢为15.64秒/页
• 稳定性：75%产品未出现崩溃现象，其余产品崩溃次数较少
• 编辑性：所有产品均支持内容修改
• 沟通交互：仅百度文库、ChatPPT和WPS AI支持交互，但仅限于指定指令
• 辅助功能：部分产品支持自动生成讲话稿、选择风格、上传图片或模板

可信保护

• 总体表现：平均得分65.63分，过滤机制表现较好，但隐私保护和产权标识需加强
• 过滤机制：百度文库、美图AIPPT、Mindshow等对敏感信息进行了过滤
• 隐私保护：仅少数产品说明不会将用户上传文档用于算法训练
• 产权标识：部分产品在PPT首页标注AI作者，但未明确内容来源或版权信息

总结与建议

总结

• 大模型PPT生成产品目前初步“可用”，正在从“能用”走向“好用”
• 在意图理解、生成质量、排版美化、基础性能方面表现较好，但仍有提升空间
• 产品在隐私保护、产权标识、个性化交互等方面存在不足

建议

1. 功能层面：加强文档内容理解能力，优化定制化生成功能，提升用户使用体验
2. 质量层面：提升生成内容的专业性、创新性和时效性，减少事实性错误和编造数据
3. 形式层面：优化图片与内容的匹配度和清晰度，丰富PPT内容呈现形式
4. 交互层面：增强与用户的交互能力，支持更灵活的指令输入，提升PPT修改功能
5. 安全层面：完善隐私保护政策和知识产权标识，确保用户数据安全
6. 行业层面：提升行业整体实力，推动产品多样化发展

本次评测为初步探索，选取的产品数量和场景有限，评测结果仅反映测试期间版本表现，欢迎进一步探讨与合作。

联系人：张若丹
联系电话：010-88686174
地址：北京市石景山区鲁谷路35号
单位：国家工业信息安全发展研究中心
实验室：人工智能融合发展与安全应用实验室