张圣宇（浙江大学）-大小模型端云协同赋能人机交互-2025.4_55页_6mb

大小模型端云协同 – 总結

端-云大-小模型协同

• 大模型: 云侧、通用认知计算、大规模算力、海量数据与知识
• 小模型: 端侧、轻量级、快速响应、本地数据处理、隐私保护

核心挑战

1. 分布偏移: 端侧与云侧数据分布不合
2. 资源限制: 端侧计算、存储、电池和带宽资源有限
3. 异构性: 模型架构、任务类型和数据模态的多样性

解决策略

1. 协同训练与推理

   • 智能请求策略: 通过因果潜在结果模型动态规划云侧请求
   • 参数/适配器联合方法: 处理分布偏移并提升端侧效率

2. 云端-端云协同机制

   • 反事实表征学习: 云侧生成反事实样本，实现端侧去偏训练
   • 因子去相关模块: 端侧模型解耦并增强表征能力

创新方法

• Augment–KD/ModelGPT: 大模型驱动的小模型生成框架
• DiDIET/MergeNet: 跨异构模型知识迁移算法

应用领域

• 推荐系统: 云-小模型协同推断算法、请求优化
• 语音助手: 语义理解与对话管理系统
• 终端智能体: 多步推理与自反思能力
• 操作系统代理: 多模态环境感知与鲁棒性提升

最新成果

• 模型生成速度比微调快7倍，端侧推理速度提升5倍
• 跨域推荐系统性能显著提升，在多个基准测试中优于传统方法
• 发表于顶会期刊与会议

核心理念

• 三元平衡: "人" + "工" + "智" + "能"
• 端-云协同: 极致用户体验、资源利用率与数据隐私的平衡

Recommendation System

面向未知场景

• 问题: 差异化服务需求高，用户兴趣快速变化；云端大模型通信成本高

方案

• 端-云协同知识蒸馏: 融合反事实学习与负样本挖掘自动改进模型

关键创新

• 动态请求感知: 基于因果潜在模型的请求定向决策
• 跨域适应: 处理分布偏移问题，提升推荐准确性

使用循环进程表示其动态特性。
综上所述，大小模型端云协同系统通过创新的训练机制、高效的在线运行方式以及简明的架构设计，在推荐系统、语音助手、多模态AI代理等多个应用领域实现了显著性能提升。未来将朝着进一步保护用户隐私、抵御设备上对抗攻击、构建更具用户偏好意识的人工智能助手方向拓展。