海外TMT行业中期策略_AI算法教学相长_顶级会议百舸争流_20页_1mb

海外TMT行业中期策略总结

核心内容

2018年海外TMT行业在人工智能（AI）领域展现出强劲的发展势头，特别是在深度学习、强化学习、自然语言处理和计算硬件等方向。行业整体评级为“增持”，表明AI领域具备较高的投资价值和发展潜力。

主要观点

• 谷歌与DeepMind主导AI研究：谷歌和DeepMind在ICLR 2018中贡献了会议总接收论文的20%，在算法优化、语言学习、逻辑理解等领域取得显著进展。
• 强化学习成为研究热点：强化学习在多个研究机构中被广泛应用，不仅用于直接研究，还作为工具用于其他领域的探索。
• 语言相关研究持续深入：语言演进、弱监督/无监督翻译、阅读理解与问答等方向成为研究重点，多篇论文围绕这些主题展开。
• 深度学习三大支柱：大数据、大模型和大计算是推动深度学习发展的三大要素，它们共同构成了AI技术的底层支撑。
• 软技术公司引领AI主流，垂直领域由电商与社交巨头深耕：谷歌等公司在通用AI技术上具有显著优势，而百度、腾讯、Facebook等则在各自垂直领域持续投入，推动AI落地。
• 高校与研究机构是创新的重要来源：尽管科技公司占据主导地位，但高校在推动新理论与方法的探索方面同样发挥重要作用。

关键信息

1. ICLR 2018 研究趋势

• 谷歌和DeepMind：在ICLR中占据主导地位，共提交47篇和22篇论文，合计占总接收论文的20%。
• 强化学习：成为研究热点，共约20篇论文涉及该方向。
• 语言相关研究：涉及22篇论文，包括语言演进、翻译、阅读理解等。
• 算法优化：多篇论文聚焦于优化方法的改进，如Adam算法的变体AMSGrad，旨在解决收敛问题。
• 元学习与多智能体环境：微软提出基于梯度的元学习方法（MAML），并设计了RoboSumo竞争环境用于测试模型适应性。
• 大模型与大计算：深度学习的成功依赖于模型规模的提升与计算资源的丰富，从CPU到GPU再到FPGA和TPU，硬件发展为模型训练提供了更多可能。

2. 算法优化进展

• AMSGrad：作为Adam算法的改进，通过使用梯度历史的最大值而非平均值，确保了学习率的单调性，解决了收敛问题。
• 优化方法研究：包括梯度压缩、在线蒸馏、学习率与批量大小关系等，谷歌在该领域有较多贡献。
• 对抗样本与隐私问题：有研究关注模型的安全性，如PATE框架用于隐私保护。

3. 教学与学习机制的结合

• L2T（Learning to Teach）：微软提出一种让机器学会自动化教学的方法，通过学生与教师模型的交互，提升数据利用率和模型性能。
• 实验结果：在LSTM网络中，L2T训练方法使分类准确率提升了约0.92%，并且具有良好的可迁移性。

4. 多比特量化与计算加速

• 量化方法：论文提出多比特量化方案，通过减少参数位数来降低内存消耗并提高计算效率。
• 实验数据：
  • 2比特量化可实现约16倍的内存压缩和6倍的CPU推理加速。
  • 3比特量化可实现几乎无精度损失，且内存压缩和加速效果更优。
• 二值乘法实现：论文在CPU上实现二值乘法，显著提升了计算效率。

5. 球形卷积神经网络（Spherical CNN）

• 背景与挑战：传统CNN适用于二维图像，但球形图像（如3D空间数据）需要新的卷积方式。
• 创新点：提出球形CNN，利用旋转不变性，通过快速傅里叶变换（FFT）实现高效群卷积。
• 应用场景：包括三维模型识别、雾化能量回归等，具有广泛的应用前景。

6. 计算硬件与深度学习平台

• 硬件演进：从CPU到GPU、FPGA，再到定制芯片（如TPU），计算硬件不断升级，满足大模型训练需求。
• 平台系统：各大科技公司纷纷开源深度学习平台，如TensorFlow、DMTK、Torch7、PaddlePaddle等，推动AI技术发展。

结论

2018年海外TMT行业在AI领域呈现出多点开花的发展态势，从算法优化到模型架构创新，再到计算硬件与平台的完善，AI技术正朝着更高效、更智能的方向演进。谷歌、DeepMind、Facebook、微软等公司在技术研究和应用落地方面占据主导地位，而高校与研究机构则为AI创新提供了源源不断的理论支持。未来，随着硬件与软件的进一步融合，AI有望在更多领域实现突破，成为推动科技进步的重要力量。