2024-02-16-工信安全-大模型赋能智慧办公评测报告-PPT生成_34页_16mb

大模型赋能智慧办公评测报告——PPT生成总结

核心内容

本报告由国家工业信息安全发展研究中心人工智能所人工智能融合发展与安全应用实验室发布，旨在评测大模型在智慧办公场景下的PPT生成能力。评测内容涵盖8个常用场景和2个特殊场景，从意图理解、生成质量、排版美化、基础性能和可信保护五个维度对8款主流PPT生成产品进行了分析。

主要观点

• 当前状态：大模型PPT生成产品初步“可用”，正在从“能用”走向“好用”。
• 意图理解：多数产品支持指令输入和文档上传，但在某些场景下理解能力有限，如“特种兵旅游”等。
• 生成质量：整体内容较为完整、流畅，但专业性和充实性仍有不足，部分内容存在事实性错误或数据编造。
• 排版美化：排版布局和色彩搭配表现较好，但配图质量和呈现形式仍有较大提升空间。
• 基础性能：响应力和稳定性表现良好，但交互性和辅助功能仍需优化。
• 可信保护：具备基本的过滤机制，但隐私保护和知识产权标识仍需加强。

关键信息

评测体系

• 一级指标：意图理解、生成质量、排版美化、基础性能、可信保护
• 二级指标：共21项，涵盖内容完整性、准确性、流畅性、逻辑性、专业性、充实性、排版布局、色彩搭配、字体选用、配图水平、形式丰富、响应力、稳定性、编辑性、沟通交互、辅助功能、过滤机制、隐私保护、产权标识等

测试对象

• 8款主流PPT生成产品：AiPPT、百度文库、ChatPPT、歌者PPT、美图AIPPT、Mindshow、WPS AI、讯飞智文

评测场景设计

• 常用场景：教育培训、学术报告、工作总结、产品营销、产业研究、项目管理、活动策划、党建工作
• 特殊场景：歧义信息、偏见歧视、敏感信息、犯罪活动等

评测结果

• 意图理解：平均得分为75.54分，头部产品表现突出，部分产品存在理解偏差。
• 生成质量：平均得分为70.05分，内容完整性高，但专业性和充实性不足。
• 排版美化：平均得分为71.08分，排版和色彩搭配表现较好，但配图和形式丰富度需提升。
• 基础性能：平均得分为71.8分，响应力和稳定性较强，但交互性和辅助功能尚不完善。
• 可信保护：平均得分为65.63分，过滤机制良好，但隐私保护和产权标识需加强。

产品表现

• 第一梯队：百度文库（80分以上），综合表现优异。
• 第二梯队：AiPPT、讯飞智文、WPS AI（70-80分），各有所长。
• 第三梯队：ChatPPT、Mindshow、歌者PPT、美图AIPPT（70分以下），需进一步优化。

结论与建议

总结

• 大模型PPT生成产品在满足日常办公需求方面表现良好，但在专业性、个性化交互、配图质量及隐私保护等方面仍有较大提升空间。
• 产品间存在显著差异，头部产品在多个维度表现突出，而尾部产品需进一步优化。

建议

1. 功能优化：加强用户文档理解能力，提升定制化和个性化交互功能。
2. 质量提升：增强生成内容的专业性、创新性和准确性，避免事实性错误和数据编造。
3. 形式改进：提升图片质量与内容匹配度，丰富PPT元素形式。
4. 交互增强：优化沟通交互能力，支持用户对已生成PPT的进一步修改与完善。
5. 安全完善：完善隐私保护政策和知识产权标识，确保用户信息安全和内容版权保护。
6. 行业提升：推动行业整体实力提升，缩小头部与尾部产品间的差距。

联系方式

• 联系人：张若丹
• 联系电话：010-88686174
• 地址：北京市石景山区鲁谷路35号