2025-03-25-中智凯灵_北京_科技-端侧大模型落地关键技术探索_25页_5mb

端侧大模型落地关键技术探索

1 演讲者简介

• 黎立教授：北京航空航天大学教授，发表高水平论文150余篇，谷歌学术引用超8500次，担任多个CCF A类期刊/会议编委与审稿人。

2 核心内容

1 大模型入端的挑战与目标

• 背景：手机厂商推动原生智能操作系统，需在端侧部署AI模型。
• 挑战：数据处理、模型性能、安全性、成本等。
• 目标：端侧处理核心场景，云端辅助非核心场景。

2 数据清洗与保护

• 数据清洗：剔除无用注释（代码-注释对）、语法错误等。
• 数据保护：
  • 提出数据水印技术，防止数据泄露。
  • 使用代码语义等价变换生成隐秘水印，增加隐蔽性。

3 模型优化

• 性能优化：
  • 分支限界法减少无效计算，降低推理成本。
  • 动态模型推理（Dynamic Inference）插入判断逻辑，加速推理。
• 案例：
  • 使用GPT-2和CodeGen模型，分别节省性能。
  • 提出大语言动态推理技术，提升推理速度与成本控制。

4 应用编程框架

• CangChain框架：自研，支持LLM开发，服务软件厂商和模型厂商。
• 功能模块：
  • Agent实现：基于ReAct范式，帮助开发者快速构建AI应用。
  • RAG支持：检索增强生成，提升应用交互效率。

5 实践案例

• 智能缺陷检测：结合代码检索和提示词增强，提升大模型性能。
• “2048游戏”实现：使用Prompt模板驱动多Agent分工。
• 鸿蒙代码修复：与华为DevEco Studio集成，落地端侧应用。

3 未来展望

• 需求：明确场景、降低内存占用、提升安全性、开发框架标准化。
• 方向：
  • 提供用户智能感知，端云协同优化体验。
  • 集成高性能框架与Agent，加速端侧大模型落地。