高通：2023混合AI是AI的未来白皮书（第一部分）_18页_1mb

混合AI指终端和云端协同工作的计算架构，应用于AI工作负载的分布式处理，以提供更优用户体验和资源利用效率。

混合AI在生成式AI的规模化扩展中至关重要，因为它能解决云端单一处理导致的成本过高问题。例如，基于大语言模型的搜索查询成本相比传统方法高出10倍，混合AI通过将部分处理转移到终端能显著降低成本。此外，能耗优势明显，终端侧能效远高于云端，有助于企业客户降低环境影响。在可靠性、性能和时延方面，本地处理可避免云端网络拥堵导致的延迟和拒绝服务。混合AI增强了隐私保护机制，使用户能够在本地执行AI任务，避免敏感信息外泄。个性化体验也是混合AI的一大优势，通过结合终端侧用户画像，实现差异化服务。

分布式机制（比如按模型复杂度选择运行方式或按需调度）让混合AI架构具备灵活性。处理任务可以在终端侧按低时延运行，或在更复杂的情况下终端与云端协同：

以终端为中心的混合AI中，终端主要执行推理，云端仅为无法完成的任务处理辅助。例如，在Microsoft 365 Copilot中，基础模型在终端侧运行，更复杂的处理通过云端提供。

基于终端感知的混合AI，终端运行部分任务（如自动语音识别、计算机视觉）并将结果或提示转发至云端进一步处理，并将结果返回终端。未来版本可能实现本地编排器主动向云端提供优化过的提示，更好地保护隐私。

终端与云端协同处理可通过**推测解码（speculative decoding）**方式提高效率：云端运行高精度大模型并并行生成多个token，而终端运行小模型快速生成一些“初始token”以提高吞吐，待云端确认后再修复差异，平衡质量与速度。

终端侧AI处理能力，特别是能够运行大模型的应用场景在持续扩展：从手机到汽车、XR、PC和物联网终端。终端侧的AI模型性能不断提升，能支持多样化生成式AI功能，如图像生成、文本创作、智能搜索和数字助手等。

生成式AI的需求驱动终端侧AI快速发展：它改善了搜索体验、AI助手功能，提升生产力，并在数字助理、自动驾驶、沉浸式体验创作、客户服务等多个领域带来革新。

混合AI正促使全球AI计算架构向云端与边缘协同演进，融合终端侧处理能力对实现生成式AI的大规模商用和个性化应用至关重要。该架构兼顾成本效率、实时响应和隐私安全，是面向未来AI服务的重要基础设施。