OPPO研究院+多模态预训练模型在OPPO端云场景的落地实践-45页_10mb

DataFunCon#2023多模态预训练模型在OPPO端云场景的落地实践总结

本报告综述了陈宸在OPPO研究院的演讲，聚焦于多模态预训练模型在OPPO端云场景的部署实践。作者探讨了如何在移动端设备上高效实现多模态大模型，以提升用户体验和应用性能。

核心主题

• 端侧图文检索技术研究：详细阐述了基于CLIP和ALBEF等模型的优化，包括模型轻量化、向量检索引擎设计、和算法蒸馏方法，以解决高效搜索和理解问题。
• 文图生成&理解模型的应用优化：涵盖了中文文生图模型的继续预训练、个性化生成、文字渲染优化和垂域微调，提升生成图像的质量和细节。
• 文图生成模型的端侧轻量化：通过结构优化如U-Net剪枝、蒸馏和采样加速，确保在资源受限的端设备上部署。
• 挑战与解决方案：包括压缩多模态模型、构建高效检索引擎和处理设备算力限制，强调端侧与云侧协作。
• 真实场景效果：展示了在用户相册、壁纸生成、广告营销工具等应用中的R@1、R@5、mAP等指标，证明部署效果。

关键成果

• 模型部署显著提升了搜索速度和生成质量，支持自然语言查询口.
• 发表多篇论文如LE、GlyphDraw和Subject-diffusion方法。
• 部署于OPPO设备APP（如相册、壁纸生成），提高了用户体验。

结论

通过将大型多模态模型轻量化和优化，OPPO在端云场景实现了高效图文检索和生成应用，满足了用户需求，强调了模型在移动设备上的重要性。