北京智源人工智能研究院-2020年AI进展及2021年技术趋势报告-2021.1-32页_6mb

2020年人工智能十大技术进展及2021年十大技术趋势总结

2020年AI十大技术进展

进展1：GPT-3的发布

• 核心内容：OpenAI发布GPT-3，拥有1750亿参数，训练数据达45TB，训练成本超1200万美元。
• 主要观点：无需微调即可完成多种任务，接近人类水平，展示了通用人工智能的潜力。
• 关键信息：GPT-3在自然语言处理任务中表现优异，如翻译、问答和文本填空。

进展2：AlphaFold2破解蛋白质结构预测

• 核心内容：DeepMind的AlphaFold2在CASP竞赛中取得突破性成果，达到92.4分的中位数得分。
• 主要观点：解决了生物领域50年未解难题，其准确性与实验技术相当。
• 关键信息：AlphaFold2对蛋白质结构预测的突破为生物医学研究带来新机遇。

进展3：深度势能分子动力学获戈登·贝尔奖

• 核心内容：王涵团队的深度势能分子动力学方法，可模拟1亿原子级别的分子系统。
• 主要观点：计算效率提升1000倍以上，极大推动了材料、生物等领域的模拟研究。
• 关键信息：该方法结合了机器学习和高性能计算，为科学计算带来新范式。

进展4：深度神经网络求解薛定谔方程

• 核心内容：DeepMind提出FermiNet，利用深度神经网络近似求解薛定谔方程。
• 主要观点：展示了深度学习在量子化学中的应用潜力，为跨学科研究提供工具。
• 关键信息：FermiNet被开源，推动了量子计算和材料科学的发展。

进展5：动态颅内电刺激实现“视皮层打印”

• 核心内容：贝勒医学院利用动态颅内电刺激技术，使盲人“看见”字母。
• 主要观点：结合Neuralink技术，有望实现更复杂的视觉信息恢复。
• 关键信息：为神经科学和脑机接口技术的发展提供了新方向。

进展6：清华大学提出类脑计算完备性概念

• 核心内容：提出类脑计算完备性理论及系统层次结构，支持通用计算。
• 主要观点：解决了类脑计算系统软硬件紧耦合问题，推动其应用扩展。
• 关键信息：相关研究发表于《自然》期刊，受到广泛关注。

进展7：北京大学实现基于相变存储器的高速训练系统

• 核心内容：基于相变存储器（PCM）的神经网络训练系统，提升训练效率。
• 主要观点：有效降低训练成本，为边缘计算和终端应用提供新思路。
• 关键信息：该系统在大型卷积神经网络训练中表现优异，被IEDM收录。

进展8：MIT仅用19个类脑神经元控制自动驾驶

• 核心内容：MIT团队仅用19个类脑神经元实现自动驾驶控制。
• 主要观点：展示了类脑计算在资源效率上的优势，具备扩展潜力。
• 关键信息：适用于仓库机器人等场景，研究发表于《自然·机器智能》。

进展9：Google与Facebook提出无监督表征学习算法

• 核心内容：SimCLR与MoCo算法在无监督学习中取得突破。
• 主要观点：基于对比学习，无需标注数据即可学习图像表征。
• 关键信息：推动无监督学习在AI中的应用，接近监督学习效果。

进展10：康内尔大学提出无偏公平排序模型

• 核心内容：FairCo模型缓解检索排序中的马太效应问题。
• 主要观点：通过反事实学习技术实现排序公平性与性能的提升。
• 关键信息：获得SIGIR2020最佳论文奖，被应用于推荐系统。

2021年AI十大技术趋势

趋势1：数据与机理融合建模

• 核心内容：结合数据驱动与机理建模，解决多尺度物理过程耦合问题。
• 主要观点：为科学计算提供新范式，提升建模效率与精度。
• 关键信息：鄂维南团队的成果提升分子动力学模拟效率千亿倍。

趋势2：深度学习理论整合与突破

• 核心内容：探索深度学习的理论基础，包括表示能力、泛化能力等。
• 主要观点：从浅层网络向深层网络理论深化，提升理解与解释能力。
• 关键信息：整合数学、统计和计算方法，推动理论框架完善。

趋势3：分布式隐私保护机器学习

• 核心内容：通过加密与分布式存储保护数据隐私，实现多机构联合建模。
• 主要观点：解决数据孤岛问题，推动数据交易与共享。
• 关键信息：联邦学习为起点，需解决计算性能与安全性问题。

趋势4：大规模自监督预训练方法发展

• 核心内容：GPT-3推动多模态与跨语言自监督模型研究。
• 主要观点：提升模型泛化能力，探索认知能力突破。
• 关键信息：OpenAI和Facebook分别推出MuseNet和M2M-100等模型。

趋势5：因果学习在信息检索中的应用

• 核心内容：基于因果关系构建更公平、可解释的信息检索系统。
• 主要观点：解决相关性与因果关系的偏差问题，提升系统可操作性。
• 关键信息：反事实框架为模型评估和优化提供新思路。

趋势6：类脑计算系统向通用演进

• 核心内容：通过计算完备性理论，实现类脑计算系统的通用化。
• 主要观点：提升开发效率与移植能力，推动跨学科发展。
• 关键信息：开发框架与统一接口是实现通用化的关键。

趋势7：类脑计算多点迭代发展

• 核心内容：促进算法、芯片、系统、工具等多层面协同进步。
• 主要观点：构建全栈性发展生态，提升类脑计算整体能力。
• 关键信息：整合不同研究领域，形成良性发展轨道。

趋势8：神经形态硬件特性开发

• 核心内容：探索RRAM、PCM等器件的非线性、随机性等特性。
• 主要观点：提升智能系统效率与功能，实现算法与硬件结合。
• 关键信息：推动下一代智能系统的性能突破。

趋势9：AI从脑结构启发走向结构与功能并重

• 核心内容：结合脑结构与功能，发展更全面的AI模型。
• 主要观点：理解功能差异，推动AI在认知能力上的突破。
• 关键信息：海马体研究揭示结构与功能的复杂关系。

趋势10：人工智能计算中心成为关键基础设施

• 核心内容：构建融合算力、数据与算法的AI计算中心。
• 主要观点：推动数字经济与传统产业融合，加速产业升级。
• 关键信息：成为智能化时代的核心平台，支持AI快速发展。

作者与智源学者

• 作者：包括张平文、夏壁灿、戴彧虹、邓柯、董彬、文再文、杨超、张祥雨、崔鹏等，他们共同总结了AI的发展与趋势。
• 研究领域：涵盖自然语言处理、智能信息检索、类脑计算、神经形态硬件、人工智能计算中心等多个方向。
• 贡献：推动AI在科学计算、隐私保护、系统架构、算法理论等领域的深入发展。