清华大学-浅谈人工智能下一个十年-2020.4-45页_2mb
报告摘要
浅谈人工智能的下个十年
核心内容
本文围绕人工智能的发展历程、当前趋势以及未来方向展开,重点分析了人工智能在理论、技术与应用层面的演进,并提出了第三代人工智能的发展理念和相关技术路径。文章还探讨了人工智能与认知科学的结合,特别是在阅读理解、推理与决策方面的创新方法,如认知图谱(Cognitive Graph)和基于双进程理论(Dual Process Theory)的系统设计。
主要观点
-
人工智能的发展阶段:
- 人工智能经历了三次浪潮,当前正处于第三次浪潮,即以深度学习和大规模数据驱动为核心的发展阶段。
- 人工智能正在从“感知”向“认知”转变,强调理解、推理和决策能力。
-
人工智能的全球战略:
- 自2017年起,多个国家和地区陆续发布人工智能战略,如加拿大、新加坡、芬兰、英国、美国、瑞典、墨西哥和欧盟,旨在推动人工智能技术的发展与应用。
- 这些战略涵盖技术研发、人才培养、伦理规范、政策支持等多个方面。
-
人工智能的关键技术发展:
- 深度学习:2006年Geoffrey Hinton等人提出深度学习,开启了人工智能的新时代。
- 自然语言处理:BERT、XLNet等模型在2018年和2019年显著提升了自然语言理解能力。
- 计算机视觉:MoCo、SimCLR等模型在无监督学习和自监督学习方面取得突破。
- 认知图谱:将深度学习与认知科学理论结合,构建具有推理和决策能力的系统。
-
人工智能的未来方向:
- 第三代人工智能强调可解释性、鲁棒性、安全性、可靠性及可扩展性。
- 推动人工智能与脑科学、认知科学的融合,发展基于知识的系统和人机协同的智能。
关键信息
人工智能历史里程碑
- 1950年:Claude Shannon提出计算机象棋博弈算法,奠定了人工智能的理论基础。
- 1954年:图灵测试提出,成为评估机器智能的重要标准。
- 1956年:达特茅斯会议标志着人工智能的正式诞生。
- 1959年:一般问题解决器(GPS)的提出,推动了人工智能在问题解决领域的应用。
- 1966年:ELIZA程序的推出,开启了人机对话的新阶段。
- 1980年:计算机战胜双陆棋世界冠军,标志着人工智能在游戏领域的突破。
- 1987年:提出认知图谱的概念,强调知识表示与推理能力。
- 2004年:OWL语言的发布,推动语义网的发展。
- 2009年:谷歌推出自动驾驶汽车,标志着人工智能在交通领域的应用。
- 2011年:IBM沃森赢得《危险边缘》比赛,展示自然语言处理的强大能力。
- 2018年:BERT模型在11项NLP任务中取得突破性成果。
- 2019年:XLNet、ALBERT等模型在深度学习领域持续创新,提升模型性能和效率。
认知图谱(Cognitive Graph)
- 概念:结合深度学习与认知科学理论,构建具有知识表示、推理和决策能力的系统。
- 应用场景:用于阅读理解、问答系统、自然语言处理等领域。
- 双进程理论:
- System 1:快速、直觉、非语言的认知过程,模拟人类的无意识行为。
- System 2:缓慢、逻辑、语言相关的认知过程,模拟人类的有意识推理。
- CogQA系统:基于双进程理论,设计了一个迭代框架,用于多跳阅读理解任务。
- 优势:提供推理路径、支撑事实和对比答案,增强模型的可解释性和可信度。
相关研究与成果
- 多项研究致力于构建大规模知识图谱,如Trillion-scale common-sense knowledge graph,以提升人工智能系统的认知能力。
- 研究成果包括:
- BIDAF:基于注意力机制的阅读理解模型。
- BERT:预训练语言模型,在自然语言处理任务中取得显著成果。
- XLNet:基于自回归模型的深度学习方法,性能优于BERT。
- ALBERT:轻量级模型,通过参数缩减技术提升效率。
- MoCo:无监督视觉表示学习模型,采用动量对比学习方法。
- SimCLR:简化对比学习框架,在ImageNet数据集上表现优异。
国内外影响力
- 第三代人工智能理念在国内外受到广泛关注,推动了人工智能在可解释性、安全性、可靠性等方面的发展。
- 张钹教授在2015年提出第三代人工智能体系的雏形,DARPA在2017年启动XAI项目,进一步推动了相关研究。
人工智能近十年发展趋势
- 从感知到认知:人工智能不再局限于图像识别和语音处理,而是向更复杂的推理和决策能力发展。
- 技术融合:人工智能与脑科学、认知科学、大数据等领域的融合,提升了系统的智能化水平。
- 可解释性:强调模型的透明性和可验证性,以增强用户信任。
- 模型优化:通过参数缩减、自监督学习等技术,提升模型性能与效率。
未来展望
- 人工智能将在可解释性、安全性、扩展性等方面持续突破。
- 认知图谱将成为推动人工智能从“感知”向“认知”转变的重要工具。
- 与认知科学的深度融合将带来更接近人类智能的系统设计。
相关研究与论文
- Ming Ding, Chang Zhou, Qibin Chen, Hongxia Yang, and Jie Tang. Cognitive Graph for Multi-Hop Reading Comprehension at Scale. ACL'19.
- Jie Zhang, Yuxiao Dong, Yan Wang, Jie Tang, and Ming Ding. ProNE: Fast and Scalable Network Representation Learning. IJCAI'19.
- Yukuo Cen, Xu Zou, Jianwei Zhang, Hongxia Yang, Jingren Zhou and Jie Tang. Representation Learning for Attributed Multiplex Heterogeneous Network. KDD'19.
- Fanjin Zhang, Xiao Liu, Jie Tang, Yuxiao Dong, Peiran Yao, Jie Zhang, Xiaotao Gu, Yan Wang, Bin Shao, Rui Li, and Kuansan Wang. OAG: Toward Linking Large-scale Heterogeneous Entity Graphs. KDD'19.
- Qibin Chen, Junyang Lin, Yichang Zhang, Hongxia Yang, Jingren Zhou and Jie Tang. Towards Knowledge-Based Personalized Product Description Generation in E-commerce. KDD'19.
- Yifeng Zhao, Xiangwei Wang, Hongxia Yang, Le Song, and Jie Tang. Large Scale Evolving Graphs with Burst Detection. IJCAI'19.
- Yu Han, Jie Tang, and Qian Chen. Network Embedding under Partial Monitoring for Evolving Networks. IJCAI'19.
- Jiezhong Qiu, Yuxiao Dong, Hao Ma, Jian Li, Chi Wang, Kuansan Wang, and Jie Tang. NetSMF: Large-Scale Network Embedding as Sparse Matrix Factorization. WWW'19.
- Jiezhong Qiu, Jian Tang, Hao Ma, Yuxiao Dong, Kuansan Wang, and Jie Tang. DeepInf: Modeling Influence Locality in Large Social Networks. KDD'18.
- Jiezhong Qiu, Yuxiao Dong, Hao Ma, Jian Li, Kuansan Wang, and Jie Tang. Network Embedding as Matrix Factorization: Unifying DeepWalk, LINE, PTE, and node2vec. WSDM'18.
- Jie Tang, Jing Zhang, Limin Yao, Juanzi Li, Li Zhang, and Zhong Su. ArnetMiner: Extraction and Mining of Academic Social Networks. KDD'08.
参考资源
- Jie Tang 的研究团队在人工智能领域有大量贡献,相关项目和代码可访问:
展开完整摘要
试读结束,高清完整版pdf/doc/ppt,请点下载