端侧大模型落地关键技术探索_25页_5mb

2024 AI+研发数字峰会总结

核心内容

2024 AI+研发数字峰会在北京举办，聚焦于AI技术在研发领域的应用，尤其是端侧大模型的落地与关键技术探索。会议强调了AI驱动研发变革的重要性，旨在通过技术创新帮助企业实现降本增效。

主要观点

• 端侧大模型的重要性：随着AI技术的发展，将大模型部署在终端设备上成为趋势。端侧大模型能够提供更快速、更私密的智能服务，满足用户对本地化、实时性的需求。
• 端侧大模型的挑战：尽管端侧大模型带来了机遇，但其落地仍面临诸多挑战，包括模型性能、资源消耗、数据保护、安全机制等。
• 智能软件工程的未来方向：会议提出了六项关键研究方向，包括应用软件工程方法改进大模型、提升模型推理效率、构建高质量训练数据集、开发大模型应用编程框架、实现端云协同、集成智能体（Agent）技术等。
• 数据质量与保护：高质量标注数据是训练高质量AI模型的基础。同时，数据保护技术如数据水印和数据投毒被提出，以防止数据被滥用。
• 大模型推理成本问题：大模型推理成本高昂，主要来自于推理阶段的能源消耗和计算资源。通过动态推理、分支限界法、三元分类器等技术，可以有效减少推理次数和资源消耗。

关键信息

端侧大模型落地关键技术探索

• 黎立：北京航空航天大学教授，研究方向为智能软件工程和移动软件工程，提出端侧大模型落地的必要性。
• TO-BE状态：核心场景在端侧完成，非核心场景沿用云端大模型。模型可根据应用请求自动决定是否调用云侧大模型。
• 数据清洗与保护：提出基于规则的语法级过滤和基于模型的语义级过滤，以提升数据集质量。首次提出大模型数据水印技术，用于数据保护。

大模型入端

• 数据清洗框架：通过语法级和语义级过滤规则，提高数据集的准确性和适用性。
• 数据保护技术：采用代码语义等价变换进行数据水印，防止数据被滥用。
• 模型性能优化：通过动态推理、分支限界法和三元分类器等方式，降低大模型推理成本。

大模型编程框架与实践

• CangChain框架：自研的大模型应用编程框架，支持开发者快速实现AI应用，包括智能体（Agent）的集成。
• 智能体（Agent）应用：CangChain支持React Agent范式，包含推理、行动和观察三个步骤，可用于多种任务，如问答、编程、代码测试等。
• RAG技术：支持检索增强生成（Retrieval-Augmented Generation），包括关键词搜索和向量搜索。
• 实践案例：
  • 2048游戏开发：基于CangChain的Prompt模板驱动不同职责的Agent执行不同任务。
  • 鸿蒙应用代码缺陷修复：利用RAG技术结合ArkTS大模型DeepSeek-Coder 7B，实现代码缺陷的自动修复。

未来展望

• 应用场景明确化：端侧大模型仍需明确应用场景，以形成用户心智。
• 智能感知能力：模型应具备对用户操作历史和运行时上下文的清晰认识，从而提供更精准的服务。
• 端云协同：端侧大模型与云端协同是实现最优用户体验的关键。
• 集成智能体：集成大模型应用编程框架与开箱即用的智能体技术，是未来发展的趋势。
• 技术挑战：包括终端设备内存限制、模型性能影响、端侧模型安全机制等。

结论

2024 AI+研发数字峰会强调了端侧大模型在研发领域的潜力与挑战。通过优化数据质量、降低推理成本、提升模型性能以及开发高效的应用编程框架，端侧大模型有望在未来实现更广泛的应用。然而，技术挑战仍需克服，以确保其在实际生产环境中的可行性和安全性。