计算机行业点评:从关键论文看边缘AI-240701-国盛证券-15页_688kb
报告摘要
好的,这是根据您提供的内容进行的分析和总结:
报告分析与总结
报告聚焦于分析近期科技巨头在边缘AI与智能助理领域的布局,特别强调苹果在边缘计算上的技术进展及其潜在的行业影响。
核心发现:
- 苹果的边缘AI突破: 苹果在2024年全球开发者大会(WWDC)上发布个人智能系统AppleIntelligence,展示了其强大的端侧(设备端)模型(30亿参数)和云侧模型能力。关键在于其在大模型部署到资源受限的边缘设备上的解决方案。
- 大模型边缘运行的挑战: 大语言模型对计算资源和内存的需求巨大,限制了其在边缘侧的应用。例如,训练GPU是服务器的数十倍更耗电。
- 苹果的技术解决方案: 苹果通过其论文《LLMinaflash: EfficientLargeLanguageModelInferencewithLimitedMemory》提出了创新方法,解决了在内存有限的条件下高效运行超大模型推理的问题。关键技术创新包括:
- 滑动窗口技术: 只保留最近使用的激活神经元参数在内存(DRAM)中,按需加载缺失参数,大幅减少了数据传输。
- 行列捆绑加载: 将全连接层对应的不同矩阵的行和列拼接存储,加载速度更快,减少延迟。
- 优化的内存管理: 减少数据块复制,避免内存碎片。
- 性能表现: 在iPhone 15 Pro上,基于AppleIntelligence的系统能够实现约0.06毫秒的token首次延迟和30tokens/s的生成速度。同时,苹果新发布的M4芯片(采用第二代3nm工艺)配备了强大的神经网络引擎,AI算力显著提升(最高38万亿次/秒),支持设备端实时字幕、看图查询等多种AI功能。
- 其他巨头的布局: OpenAI发布的GPT-4o提升了实时多模态交互能力;谷歌展示了Gemini模型在手机及眼镜上的实时推理与交互项目Astra。这些进展共同推动边缘智能助理的快速产业化变革。
影响与展望:
- 科技巨头在模型(包括自研和大模型适配)、算法和硬件三个维度加速创新,共同促进了边缘侧智能助理的发展。
- 这有望为终端(手机、硬件、汽车、机器人)相关的软硬件公司带来新增长空间。
投资关注点:
报告建议投资者关注以下领域和相关公司:
- 算力侧: 寒武纪、中科曙光、浪潮信息、海光信息、软通动力、协创数据、神州数码、高新发展、利通电子、烽火通信、工业富联、中际旭创、新易盛。
- 信创、数字化、医疗IT、车路云: 相关龙头企业如达梦数据、纳思达、金山办公、海康威视、大华股份、创业慧康、卫宁健康、金溢科技等。
- AI应用与相关软件/硬件: 海康威视、中科创达、立讯精密、鹏鼎控股、金山办公、拓尔思、润达医疗、漫步者、云天励飞、虹软科技、昆仑万维、中广天择、同花顺、科大讯飞、万兴科技、用友网络、赛意信息。
- 自动驾驶、机器人、卫星互联网: 具体列举了多家相关公司。
风险提示:
- AI技术迭代速度慢于预期。
- 宏观经济下行风险。
- 相关行业竞争加剧风险。
展开完整摘要
试读结束,高清完整版pdf/doc/ppt,请点下载