> **来源：[研报客](https://pc.yanbaoke.cn)** # 人工智能—历史、现状和未来 汇报人：朱鹏飞 单位：天津大学 # 汇报提纲： 三起两落：人工智能发展史 智能涌现：大模型时代 三 东数西算：算力基础设施 四 数据为王：低空感知平台 五 百花齐放：人工智能应用场景 六 未来已至：拥抱智能时代 # 汇报提纲： 三起两落：人工智能发展史 智能涌现：大模型时代 三 东数西算：算力基础设施 四 数据为王：低空感知平台 五 百花齐放：人工智能应用场景 六 未来已至：拥抱智能时代 # 人工智能的诞生 达特茅斯会议(1956) Dartmouth Conference 美国达特茅斯 Dartmouth College 达特茅斯会议：1956年8月，在美国汉诺斯小镇宁静的达特茅斯学院中，约翰·麦卡锡、马文·闵斯基（人工智能与认知学专家）、克劳德·香农（信息论的创始人）、艾伦·纽厄尔（计算机科学家）、赫伯特·西蒙（诺贝尔经济学奖得主）等科学家正聚在一起，讨论用机器来模仿人类学习以及其他方面的智能。 达特茅斯会议首次正式提出人工智能一词，Artificial Intelligence，AI，一直被沿用至今，因此，1956年也就成为了人工智能元年。 图灵测试：如果机器能回答由人类测试者提出的一系列问题，且其超过 $30\%$ 的回答让测试者误认为是人类所答，则机器通过测试，并被认为具有人类智能。 人工智能发展史经历了三起两落 人工智能经历了半个多世纪的发展历程，涌现出了众多影响深远的技术、产品 # 人工智能的黄金时代 (1956—1974) 美国国防高级研究计划署 DARPA/ARPA Defense Advanced Research Projects Agency 机器人Shakey第一个自主移动机器人 1958年麦卡锡开发LISP语言 日本早稻田大学 Waseda University 1972年完成了WABOT-1机器人原型，搭载着机械手脚、人工视觉、听觉装置 亚瑟塞缪尔1901-1990 Arthur Lee Samuel 机器学习之父 1959年开发的西洋跳棋程 序打败了当时的西洋棋大师 # 人工智能的第一次寒冬 (1974—1980) # 计算量爆炸 每多一个路口可能路线计算量翻倍 西洋跳棋每步可能棋局1020 国际象棋每步可能棋局1040 # 缺乏大量的常识数据 即使3岁婴儿也已经观看过数亿张围像，听过数万小时的声音 # 计算能力有限 人工智能需要算力 就如同飞机需要足够动力才能起飞 模拟人类视觉需要1000MIPS计算力超过当时最强计算机运算力的10倍 # 莫拉维克悖论 人类的高级逻辑思维需要运算量较少，而本能和直觉相关的能力却需要巨大运算量 莱特希尔报告 1973 James Lighthill 揭开人工智能寒冬序幕 各国政府和机构停止或减少了资金投入，人工智能在70年代陷入了第一次寒冬 # 人工智能繁荣期 (1980—1987) # 专家系统 Expert System 模拟人类专家决策能力的计算机软件系统 根据人类专家编写的知识库，依照计算机程序设定的推理规则，回答专业特定领域的问题或提供知识 CYC 汇集人类全部常识的专家系统 www.cyc.com XCON专家系统创造商业价值 Cycorp # 神经网络复兴 1982 约翰·霍普菲尔德John Hopfield发明了具有全新学习能力的Hopfield网络杰弗里·辛顿Geoffrey Hinton和大卫·鲁梅哈特David Rumelhart发明了可以训练的反向传播神经网络 VaMORS 德国慕尼黑 联邦国防军大学 1986年 真正意义上第一辆自动驾驶汽车 专家系统开始在特定领域发挥威力，也带动整个人工智能技术进入了一个繁荣阶段 # 人工智能第二次寒冬 (1987—1993) Elephants Don't Play Chess 专家系统并不是人工智能的正确路径 人工智能应该具有身体 从对世界的感知中学习智慧 朱迪亚·皮尔 Judea Pearl 1936~ 贝叶斯网络Bayesian networks算法发明人 1988年将概率论方法引入人工智能推理 2011年图灵奖得主 人工智能的技术奇点 1993 弗诺·芬奇Vernor Vinge 雅恩·乐昆 1960~ Yann LeCun 卷积神经网络创始人 美国国家工程院院士 1989年，AT&T贝尔实验室的 雅恩·乐昆和团队使用卷积神经 网络技术，实现了人工智能识 别手写的邮政编码数字图像 # 人工智能稳健发展期 (1993—2015) 1997年，IMB的计算机深蓝Deep blue战胜了人类世界象棋冠军卡斯帕罗夫 2007年，李飞飞发起了ImageNet，在挑战赛上设计的深度卷积神经网络，被认为是深度学习革命的开始 2006年，杰弗里辛顿奠定了深度学习的核心技术，出版了《Learning Multiple Layers of Representation》 2009年，吴恩达及其团队开始研究使用图形处理器进行大规模无监督式机器学习，自主识别图形中的内容 # 人工智能新时代 (2016—至今) 2016年和2017年，谷歌研发的AlphaGo连续战胜曾经的围棋世界冠军韩国李世石和中国的柯洁 2024年，以ChatGPT和Kimi为代表的大语言模型涌现出强大的学习能力 2018年，波士顿动力公司生产的机器人Atlas具有超强的环境适应和行动能力 2024年，以Sora为代表的文本视频生成大模型展现了创建现实和富有想象力场景的能力 # 汇报提纲： 三起两落：人工智能发展史 智能涌现：大模型时代 三 东数西算：算力基础设施 四 数据为王：低空感知平台 五 百花齐放：人工智能应用场景 六 未来已至：拥抱智能时代 # 大模型发展简史 萌芽期（1950-2005）：以CNN为代表的传统神经网络模型阶段。 探索沉淀期 (2006-2019)：以Transformer为代表的全新神经网络模型阶段 迅猛发展期 (2020-至今)：以GPT为代表的预训练大模型阶段 性能 # 大模型谱系图 参数规模、技术架构、支持模态、应用领域都在迅速的发展 # ChatGPT的发展历程 # GPT-1 # 2018年 OpenAI推出初代GPT模型，该模型的核心Transformer结构，其参数量达到1.17亿。BookCorpus数据集(5G)上进行训练，再通过特定下游任务来微调和推广模型。 # GPT-2 # 2019年 GPT-2是在WebText数据集(40GB)上训练的，有超过15亿个参数。GPT-2在生成方面第一次表现出了强大的天赋在阅读理解、翻译、问答等任务时表现出强大的性能。 # GPT-3 # 2020年 GPT-3作为一个无监督模型拥有1750亿个参数。它在CommonCrawl等数据集(45TB)进行训练。在两位数的加减运算任务上达到几乎 $100\%$ 的正确率。甚至可以执行编写代码片段，生成类似人类的文本。 # GPT-4 # 2023年 GPT-4是生成式预训练模型，其参数量达到了100万亿。其是一个多模态预训练大模型，可对图文多模态输入生成应答文字，以及对视觉元素的分类、分析和隐含语义提取，并表现出优秀的应答能力，成为跨时代意义的里程碑。 市场上可见的大模型日益丰富 <table><tr><td colspan="2">厂商</td><td>大模型</td><td colspan="2">厂商</td><td>大模型</td><td colspan="2">厂商</td><td>大模型</td></tr><tr><td>Meta</td><td>Meta</td><td>LlaMA</td><td>HUAWEI</td><td>华为</td><td>盘古α</td><td>Microsoft</td><td>微软亚研</td><td>NUWA</td></tr><tr><td>Google</td><td>Google</td><td>PaLM</td><td>阿里巴巴</td><td>阿里巴巴</td><td>M6、通义</td><td>北京智源 3AI</td><td>北京智源</td><td>悟道</td></tr><tr><td>商汤 sensetime</td><td>商汤科技</td><td>书生</td><td>清华大学</td><td>清华大学</td><td>GLM1308</td><td>中国科学院大学 University of Chinese Academy of Sciences</td><td>中国科学院</td><td>紫东太初</td></tr><tr><td>NVIDIA</td><td>NVIDIA</td><td>NeMoLLM</td><td>IDEA CELEBRATED PROJECT TOMATOIN ACADemy</td><td>IDEA研究院</td><td>二郎神</td><td>Tencent 腾讯</td><td>腾讯</td><td>混元</td></tr><tr><td>inspur 浪潮</td><td>浪潮</td><td>源</td><td>DeepMind</td><td>DeepMind</td><td>Gopher</td><td>Baidu百度</td><td>百度</td><td>文言一心</td></tr><tr><td>天工智力</td><td>奇点智源</td><td>SkyCode</td><td>OpenAI</td><td>OpenAI</td><td>GPT-4</td><td>云从科技 CLOUDWALK</td><td>云从</td><td>SemBERT</td></tr><tr><td>ZHUXYI 建一科技</td><td>追一科技</td><td>RoFormer</td><td>LINKER联汇</td><td>联汇科技</td><td>OmModel</td><td>OPPO</td><td>OPPO</td><td>OBERT</td></tr></table> 国内外的公司纷纷推出了大量的大模型争抢市场 # 国内大模型投资生态 大模型吸引了大量的投资，产业发展迅速 # 国家政策对大模型的关注与引导 《北京市加快建设具有全球影响力的人工智能创新策源地实施方案(2023-2025年》 北京市人民政府 2023年5月 《杭州市人民政府办公厅关于加快推进人工智能产业创新发展的实施意见》 杭州市人民政府办公厅 2023年7月 《成都市加快大模型创新应用推荐人工智能产业高质量发展的若干措施》 成都市经济和信息化局等部门 2023年8月 《安徽省人民政府关于印发打造通用人工智能产业创新和应用高地若干政策的通知》 安徽省人民政府办公厅 2023年10月 《上海市推动人工智能大模型创新发展若干措施（2023-2025）》 上海市经济和信息化委员会等部门 2023年10月 《广东省人民政府关于加快建设通用人工智能产业创新引领地的实施意见》 广东省人民政府办公厅 2023年11月 国务院国资委召开“AI赋能产业焕新”中央企业人工智能专题推进会。 国务院国资委 2024年2月 2024年《政府工作报告》中提出开展“人工智能+”行动 第十四届全国人大第二次会议 2024年3月 # 国内外最新的模型--Midjourney AIGC可以生成高质量的海报、广告等逼真的图像，对设计行业造成巨大的冲击 # 国内外最新的模型--Sora 提示词：a dragon made of bubbles, perfectly rendered 8k 视频压缩网络 可缩放的Transformers扩散模型架构 # AIGC卓越的生成视频能力对电影和广告行业也影响深远 # 国内外最新的模型-GPT4 # chatGPT能做的49件事 同4答 图 # 内容概况 Saaee 程序命令生成 Tnannnnnne nnnnne Stripe国际API生成 Natural language to strip API Oncogene associated with breast cancer 结构化生成 P 语法纠正 Gamma correction 生成OpenAI的代码 Natural language to OpenAI (P) 语言翻译 English to other languages SQL语句生成 10.1.1.2 3. a commutative ring homogenoid of $\mathbb{R}$ , Jannason 信息分类 Chua Python代码解释 1 时间复杂度计算 Calculate Time Complexity e 高级绩效评分 Advanced feature 关键字提取 解得 $m = 1$ 或 $m = - 1$ , 广告设计 Ad from product description T # 歌曲创作 # 回答 # 生成作文 # 教学设计 国 推荐名称：深度学习基础入门 华 国 1 1.2023年/9月7日 1.作山 +年 # 用C++写一段爬虫代码 1 一 # 产品设计 A. $\mathrm{N}$ 、 $\mathrm{H}$ 、 $\mathrm{Cl}$ 、 $\mathrm{{OH}}$ 均不活泼, $\mathrm{{Na}}$ 、 $\mathrm{{Al}}$ 、 $\mathrm{{Fe}}$ 、 $\mathrm{{Mg}}$ 、 $\mathrm{{Cu}}$ 、 $\mathrm{{Zn}}$ 、 $\mathrm{{Ag}}$ 、 $\mathrm{{Al}}$ 、 $\mathrm{{AgCl}}$ 、 $\mathrm{{AgNO}}3$ 、 $\mathrm{{AgNO}}2$ 、 $\mathrm{{AgNO}}3$ 、 $\mathrm{{AgNO}}4$ 、 $\mathrm{{AgNO}}5$ 、 $\mathrm{{AgNO}}6$ 、 $\mathrm{{AgNO}}7$ 、 $\mathrm{{AgNO}}8$ 、 $\mathrm{{AgNO}}9$ 、 $\mathrm{{AgNO}}10$ 、 $\mathrm{{AgNO}}11$ 、 $\mathrm{{AgNO}}12$ 、 $\mathrm{{AgNO}}13$ 、 $\mathrm{{AgNO}}14$ 、 一 1、材料来源：公司与成都兴蓉环境资源有限公司共同投资设立的项目，具体内容详见公司于2023年4月29日刊登在《中国证券报》《上海证券报》《证券时报》及巨潮资讯网（www.cninfo.com.cn）的相关公告。 2.01.01.01.01.01.01.01.01.01.01.01.01.01.01.01.01.01.01.01.01.01.01.01.01.01.01.01.01.01.01.01.01.01.01 2 1.0000000000000000000000000000000000000000000000 1 # 国内外最新的模型-FIGURE FIGURE与大模型的结合引爆了对具身智能的重新思考 OpenAI视觉语言大模型VLM的引入，FIGURE 01 机器人可以与人进行完整的对话 # 汇报提纲： 三起两落：人工智能发展史 智能涌现：大模型时代 三 东数西算：算力基础设施 四 数据为王：低空感知平台 五 百花齐放：人工智能应用场景 六 未来已至：拥抱智能时代 # 算力大规模部署和应用是当前国家重大战略和科学前沿 中华人民共和国国家发展和改革委员会 National Development and Reform Commission 责任编辑：王新峰 2022年2月，“东数西算”工程批复完成，在京津冀、长三角、粤港澳大湾区、成渝、内蒙古、贵州、甘肃、宁夏8地启动建设国家算力枢纽，并设立10个国家数据中心集群，构建全国一体化大数据中心协同创新体系，推动我国算力统筹布局，高质量发展。 中华人民共和国中央人民政府 # 页/第页）：（） 国 工业和信息化部等六部门关于印发《算力基础设施高质量发展行动计划》的通知 （）中 到2025年，算力规模超过300EFLOPS，智能算力占比达到 $35\%$ ，东西部算力平衡协调发展。应用赋能方面，围绕工业、金融、医疗、交通、能源、教育等重点领域，各打造30个以上应用标杆。 中华人民共和国中央人民政府 2017年/8月1日 国 科技部关于印发《国家新 代人工智能开放创新平台建设工作指引》的通知 提出要推进AI领域的模型与算法创新工作，加快推动国家新一代人工智能公共算力开放创新平台建设，支持高性能计算中心与智算中心异构融合发展。 # 算力规模1——国家层面 李正茂“算力时代三定律”指出，算力每投入1元，带动3~4元GDP经济增长。据IDC和清华大学等联合编制的计算力指数指出，该指数平均每提高1点，国家的数字经济和GDP将分别增长3.6%和1.7%。 截至目前，全国在用数据中心机架总规模超过760万标准机架，算力总规模达到197EFLOPS（每秒浮点运算次数），位居全球第二。 算力是国家经济增长的主要驱动力，我国算力规模处于领跑位置 # 算力规模2——省份层面 上海市、江苏省、广东省、河北省、北京市位于第一梯队，在用算力规模均超过13EFLOPS，第一梯队算力规模全国占比超过45%。 山东省、贵州省、浙江省、内蒙古自治区、山西省位于第二梯队，在用算力规模均超过5EFLOPS。 从在建算力来看，江苏省、河北省、山西省处于绝对领先位置。 名中 当前，在国家统筹规划下，已有超过30个城市在规划和建设人工智能计算中心，为企业、高校、科研单位等提供算力服务。 目前，智算中心的规划门槛为 100PFLOPS，布局方面以东部为主，但在“东数西算”的大战略下，未来西部也将成为重要的算力布局区域。 中国AI计算中心TOP10 <table><tr><td>序号</td><td>地区</td><td>算力规模</td></tr><tr><td>1</td><td>深圳</td><td>1000PFLOPS</td></tr><tr><td>2</td><td>重庆</td><td>400PFLOPS</td></tr><tr><td>3</td><td>西安</td><td>300PFLOPS</td></tr><tr><td>4</td><td>成都</td><td>300PFLOPS</td></tr><tr><td>5</td><td>沈阳</td><td>300PFLOPS</td></tr><tr><td>6</td><td>武汉</td><td>200PFLOPS</td></tr><tr><td>7</td><td>天津</td><td>200PFLOPS</td></tr><tr><td>8</td><td>许昌</td><td>100PFLOPS</td></tr><tr><td>9</td><td>青岛</td><td>100PFLOPS</td></tr><tr><td>10</td><td>南京</td><td>40PFLOPS</td></tr><tr><td>11</td><td>杭州</td><td>40PFLOPS</td></tr></table> 整理：《通信产业报》全编体算力研究报 # 算力规模3——企业层面 中国移动优化“4+N+31+X”算力集约化梯次布局，2023年累计投产算力服务器超80.4万台，净增超9.1万台，算力规模达到9.4EFLOPS，预计2023年资本开支合计约为1832亿元。 中国电信优化“2+4+31+X+O”算力布局，2023上半年智算新增1.8EFLOPS，达到4.7EFLOPS，增幅62%，扩大通用算力，通算新增0.6EFLOPS，达到3.7EFLOPS，增幅19%，算力投资将达195亿元。 中国联通资本开支重点聚焦5G、宽带、政企、算力四张精品网建设。算力精品网方面，联通云池覆盖200多个城市，资本开支水平达769亿元，其中算网投资占比将超过19%，同比增长超过20%。 三大运营商算力规模 <table><tr><td>运营商</td><td>算力规模</td><td>对外可用IDC 机架(万架)</td></tr><tr><td>中国移动 China Mobile</td><td>9.4EFLOPS</td><td>47.8</td></tr><tr><td>中国电信 CHINA TELECOM</td><td>智算达4.7EFLOPS 通算达3.7EFLOPS</td><td>53.4</td></tr><tr><td>中国联通 Chinaunicom</td><td>/</td><td>38</td></tr><tr><td colspan="3">截至2023年上半年 整理:《通信产业报》全媒体算力研究组</td></tr></table> # 算力规模3——企业层面 一些互联网大厂在全球范围内也拥有大量的数据中心和算力资源，用于支持其搜索引擎、云计算和其他人工智能应用。例如，阿里云智能计算平台飞天就为全球数百万企业提供超过1000万台服务器的算力资源。 阿里、百度、华为、腾讯等中国顶级的科技企业锻造这些模型，需要大量的数据、较长的周期、巨大的成本，因此这些企业在未来很长时间内，依然会是中国算法算力产业的核心巨头，几乎不可能被替代。 <table><tr><td colspan="4">2023 ICT企业算法算力能力TOP30</td><td colspan="4">2023 ICT企业算法算力能力TOP30</td></tr><tr><td>序号</td><td>企业名称</td><td>算法算力类别</td><td>具体优势领域</td><td>序号</td><td>企业名称</td><td>算法算力类别</td><td>具体优势领域</td></tr><tr><td>1</td><td>腾讯控股</td><td>计算网络与平台</td><td>云服务平台及通用AI</td><td>16</td><td>紫光国微</td><td>计算芯片</td><td>FPGA/ASIC芯片</td></tr><tr><td>2</td><td>阿里巴巴</td><td>计算网络与平台</td><td>云服务平台及通用AI</td><td>17</td><td>宝信软件</td><td>计算网络与平台</td><td>IDC</td></tr><tr><td>3</td><td>中国移动</td><td>计算网络与平台</td><td>算力网络运营</td><td>18</td><td>用友网络</td><td>智慧应用</td><td>智能企业运营</td></tr><tr><td>4</td><td>抖音</td><td>底层智能算法</td><td>数据挖掘与机器学习</td><td>19</td><td>科大讯飞</td><td>底层智能算法</td><td>语言与视觉AI</td></tr><tr><td>5</td><td>华为</td><td>ICT基础设施</td><td>服务器及通用AI</td><td>20</td><td>联想集团</td><td>ICT基础设施</td><td>服务器</td></tr><tr><td>6</td><td>京东</td><td>计算网络与平台</td><td>云服务平台与智慧物流</td><td>21</td><td>兆易创新</td><td>计算芯片</td><td>MCU芯片</td></tr><tr><td>7</td><td>网易</td><td>底层智能算法</td><td>深度学习与异构计算</td><td>22</td><td>商汤科技</td><td>底层智能算法</td><td>机器视觉</td></tr><tr><td>8</td><td>鸿海</td><td>ICT基础设施</td><td>服务器</td><td>23</td><td>中天科技</td><td>ICT基础设施</td><td>量子计算</td></tr><tr><td>9</td><td>百度</td><td>计算网络与平台</td><td>云服务平台及通用AI</td><td>24</td><td>紫光股份</td><td>ICT基础设施</td><td>服务器</td></tr><tr><td>10</td><td>联发科</td><td>计算芯片</td><td>CPU芯片</td><td>25</td><td>金蝶国际</td><td>计算网络与平台</td><td>云计算平台</td></tr><tr><td>11</td><td>中国电信</td><td>计算网络与平台</td><td>算力网络运营</td><td>26</td><td>奇安信</td><td>计算保护</td><td>数字安全</td></tr><tr><td>12</td><td>小米</td><td>智慧应用</td><td>智慧生活</td><td>27</td><td>亨通光电</td><td>ICT基础设施</td><td>量子计算</td></tr><tr><td>13</td><td>工业富联</td><td>智慧应用</td><td>智慧工业</td><td>28</td><td>中科曙光</td><td>ICT基础设施</td><td>服务器</td></tr><tr><td>14</td><td>中国联通</td><td>计算网络与平台</td><td>算力网络运营</td><td>29</td><td>浪潮信息</td><td>ICT基础设施</td><td>服务器</td></tr><tr><td>15</td><td>中兴通讯</td><td>ICT基础设施</td><td>交换机/路由器</td><td>30</td><td>旷视科技</td><td>底层智能算法</td><td>机器视觉</td></tr></table> # 算力规模4——高校层面 北京大学“未名一号”现有的计算总核心数达33584个，理论计算峰值高达4.39PFLOPS。截至2023年11月，已助力北京大学发表论文超过1600篇，平台支撑北京大学545项科研课题，部分项目（447个）总金额累计31.36亿元。 上海交通大学“思源一号”高性能计算集群总算力6PFLOPS，是目前国内高校第一的超算集群，TOP500榜单排名第132位，GPU A100显卡92张，张量算力达到44PFLOPS，算力超过哈佛、剑桥等国际名校。“思源一号”累计服务一级学科30多个，支撑发表高水平论文600多篇。 北京大学“未名一号” 上海交通大学“思源一号” # 算力规模5——学部层面 天津大学智能与计算学部搭建了136张A800组成的计算集群，张量算力达到65PFLOPS，可开放给所有师生申请使用。 # 算力规模6——课题组层面 课题组在读硕士生21名，博士生9名，拥有包括A6000和3090GPU在内的80余张显卡，张量算力为2PFLOPS，同时从AutoDL购买了在线算力作为缓冲算力资源池，购买服务器费用花费100万左右。 <table><tr><td>GPU型号</td><td>张数</td></tr><tr><td>A6000</td><td>8</td></tr><tr><td>3090</td><td>39</td></tr><tr><td>2080ti</td><td>16</td></tr><tr><td>Titanxp</td><td>8</td></tr><tr><td>1080ti</td><td>11</td></tr><tr><td>总计</td><td>82</td></tr></table> # 算力需求——小模型训练、推理 训练：参考业界流行的视频训练算法，训练一个模型需要2560TFLOPS FP16算力（8卡/周，单卡算力为320 TFLOPSFP16），运算时间为7天左右，且通常需要训练大于8~10次才能找到一个满意的模型。考虑2天的测测，安装和模型更新时间，则一个模型的训练周一为10天。综上，至少需占用要 $2560^{*}8 = 20480$ TFLOPS FP16算力，才能在10天内找到一个满意的训练模型； 按照目标检测，分割，跟踪等常规模型统计，预计一年有30+任务需要分别训练，总算力需求20PFLOPS FP16。 推理：如当前业务需要接入3000路视频的需求来计算，共需要的AI推理卡的数量为：3000/16≈188块。考虑到数据加工集群建模的并行效率（一般集群的并行效率为90%左右），留出适当的资源后需要的GPU卡的数量为：188/0.9≈209块。 <table><tr><td>序号</td><td>算法分类</td><td>算法需求</td><td>模型参数</td><td>数据集参数</td><td>所需能力(TFLOPSFP16)</td><td>训练时间/周</td><td>训练次数</td></tr><tr><td>1</td><td>视频异常检测</td><td>CLAVS</td><td></td><td>>2000帧/秒</td><td>20400</td><td>1</td><td>10</td></tr><tr><td>2</td><td>视频异常检测</td><td>CSI</td><td></td><td></td><td>20400</td><td>1</td><td>10</td></tr><tr><td>3</td><td>视频自动分析</td><td>SlowFast</td><td></td><td></td><td>20400</td><td>1</td><td>10</td></tr><tr><td>4</td><td>视频自动分析</td><td>AphAction</td><td></td><td></td><td>20400</td><td>1</td><td>10</td></tr><tr><td>5</td><td>边缘分类器跟踪</td><td>RecNet-5,cosnet18,semanticD4,semantic50,resnet101</td><td>resnet10</td><td></td><td>2660</td><td>1</td><td>4</td></tr><tr><td>6</td><td></td><td>MobileNet-5, MobileNet-V1, MobileNet-V2, MobileNet-V3</td><td>resprintv2</td><td></td><td>2660</td><td>1</td><td>4</td></tr><tr><td>7</td><td>人脸识别算法</td><td>面部分类Handphone,FacemNet</td><td>FaceNet NN1</td><td>MS Celeb. TM LFW, 1万张图片Advance, 2万张图片 Color PERET,1万张图片</td><td>2660</td><td>1</td><td>4</td></tr><tr><td>8</td><td>目标分类</td><td>一阶E:SSO, yolo系列,yolov3, yolov4, yolov5</td><td>YOLOV2-508</td><td>COCO 2017, >20张图</td><td>2660</td><td>1</td><td>8</td></tr><tr><td>9</td><td>二阶R+shunRCNN</td><td>faster rnon + resnet101</td><td></td><td></td><td>2560</td><td>1</td><td>8</td></tr><tr><td>10</td><td>分割模式</td><td>yolov1 yolov4++ (num, num++ )</td><td>maskconn+resnet50ptn</td><td></td><td>2560</td><td>1</td><td>8</td></tr><tr><td>11</td><td></td><td>MaskRCNN</td><td></td><td></td><td>2560</td><td>1</td><td>8</td></tr><tr><td>12</td><td>人类眼好</td><td>CensePeds</td><td></td><td>1003图片</td><td>2500</td><td>1</td><td>8</td></tr></table> # 小模型训练推理需要一定的算力支持 # 算力需求——大模型训练 以微软与英伟达合作推出的Megatron Turing-NLG(MT-NLG)模型为例，该模型拥有5300亿参数，其训练过程消耗了4480块A100GPU。OpenAI在GPT-4的训练中，动用了大约25000个A100GPU，历时近100天。以Llama2和GPT-3*为例，训练所使用的算力如下： <table><tr><td>模型</td><td>参数大小</td><td>GPU训练时间(小时)</td><td>用于训练的设备</td><td>来源</td></tr><tr><td>Llama2 7B</td><td>70亿</td><td>184,320</td><td>A100-80GB</td><td>Llama2 模型详情</td></tr><tr><td>Llama2 13B</td><td>130亿</td><td>368,640</td><td>A100-80GB</td><td>Llama2 模型详情</td></tr><tr><td>Llama2 70B</td><td>700亿</td><td>1,720,320</td><td>A100-80GB</td><td>Llama2 模型详情</td></tr><tr><td>GPT-3*</td><td>1750亿</td><td>2,522,880</td><td>V100-32GB</td><td>Nvidia,论文</td></tr></table> 参数量达到1750亿的GPT-3模型，需要 $3.14 \times 1023$ FLOPS 的计算能力进行训练。如果设定训练时间为30天，那么预估将需要 758个A100 GPU。ChatGPT 3.5与ChatGPT 4.0没有公开具体的参数，可以假定与GPT-3的规模相当，需要1000个以上的 A100GPU的算力才能在可以接受的时间里获得训练结果，其单次训练成本大概为500万美元。 <table><tr><td></td><td>模型参数量(亿)</td><td>数据量</td><td>时间(天)</td><td>算力(P/天)</td><td>金额</td></tr><tr><td>盘古</td><td>2.68</td><td>600G</td><td>3</td><td>110</td><td></td></tr><tr><td>盘古</td><td>138</td><td>600G</td><td>7</td><td>110</td><td></td></tr><tr><td>ChatGPT</td><td>13</td><td>300 billion token</td><td>27.5</td><td>27.5</td><td>一次模型训练成本超过1200万美元</td></tr><tr><td>GPT-3 XL</td><td>13</td><td>300 billion token</td><td>27.5</td><td>27.5</td><td></td></tr><tr><td>GPT-3</td><td>1746</td><td>300 billion token</td><td>1</td><td>3640</td><td>一次模型训练成本超过460万美元</td></tr><tr><td>GPT-3.5</td><td></td><td></td><td>1</td><td>3640</td><td></td></tr></table> 注：ChatGPT训练所用的模型是基于13亿参数的GPT-3.5模型微调而来 # 大模型训练时算力需求大、时间长、成本高 # 算力需求——大模型训练、微调 异思和业界开源大模型关于算力、训练时长 <table><tr><td></td><td>参数</td><td>数据</td><td>训练算力</td><td>时长</td></tr><tr><td>戴城益吉</td><td>1008</td><td>300B tken</td><td>512P Ascend910</td><td>28天</td></tr><tr><td>戴城益吉</td><td>2008</td><td>300B tken</td><td>512P Ascend910</td><td>41天</td></tr><tr><td>戴东太切</td><td>18</td><td>1.3亿图文</td><td>18P Ascend910</td><td>10天</td></tr><tr><td>戴东太切</td><td>1008</td><td>300万张文</td><td>128P Ascend910</td><td>30天</td></tr><tr><td>克夫刘胜</td><td>18</td><td>200w电池片(250G)</td><td>20P Ascend910</td><td>5天</td></tr><tr><td>GPT3</td><td>1758</td><td>300B tken</td><td>2046 A100</td><td>15天</td></tr><tr><td>GPT3</td><td>1758</td><td>300B tken</td><td>1024 A100</td><td>34天</td></tr><tr><td>ChatGPT</td><td>1758 (预训练)+89 (强化)</td><td>300B tken估算</td><td>2046 A100</td><td>15.26天</td></tr><tr><td>ASR</td><td>12</td><td>17小时话音</td><td>4L Ascend910</td><td>15H</td></tr><tr><td>wav29c2.0</td><td>9亿</td><td>300小时话音</td><td>32+Ascend910</td><td>120H</td></tr><tr><td>hubert</td><td>37</td><td>1w/年开行</td><td>32+Ascend910</td><td>10天</td></tr></table> 不同参数量下大模型算力需求 <table><tr><td></td><td>模型参数量(亿)</td><td>数据集</td><td>并行卡数(如A100)</td><td>时间(人)</td><td>算力(P/人)</td></tr><tr><td>1</td><td>10</td><td>300 billion token</td><td>12</td><td>40</td><td>312Tx12-3.7P</td></tr><tr><td>2</td><td>100</td><td>300 billion token</td><td>128</td><td>40</td><td>312Tx128-40P</td></tr><tr><td>3</td><td>1000</td><td>1 trillion token</td><td>2048</td><td>60</td><td>312Tx2048=638P</td></tr></table> 对于细分行业在大模型的使用需求，更多的是大模型微调和优化 <table><tr><td rowspan="2">模型</td><td rowspan="2">LoRa 模型实现需求(40bit量化)</td><td>全态调制(FP1D)</td><td>LoRA微调建议</td><td>全态调制建议</td></tr><tr><td>低低显示需求</td><td>GPU</td><td>GPU</td></tr><tr><td>LLAMA-7B</td><td>6GB</td><td>84GB</td><td>RTX 3060, GTX 1660, 2060, AMD 5700 XI, RTX 3050</td><td>RTX4090*4, V100 32G*4, V100 16G*6, A100 40G*2, A100 80G*2</td></tr><tr><td>LLAMA-13B</td><td>10GB</td><td>156GB</td><td>AMD 6900 XT, RTX 2060 12GB, 3060 12GB, 3060, A2000</td><td>RTX 4090*8, V100 32G*6, A100 40G*4, A100 80G*2</td></tr><tr><td>LLAMA-30B</td><td>20GB</td><td>360GB</td><td>RTX 3080 20GB, A4500, A5000, 1090, 4090, 6000, Tesla V100, Tesla P40</td><td>V100 32G*12, A100 40G*10, A100 80G*6</td></tr><tr><td>LLAMA-65B</td><td>40GB</td><td>780GB</td><td>A100 40GB, 2×3090, 2×4090, A40, RTX AG000,RTX 8000</td><td>V100 32G*26, A100 40G*20, A100 80G*10</td></tr><tr><td>ChatGIM2-6B</td><td>6GB</td><td>84GB</td><td>RTX 3060, GTX 1660, 2060, AMD 5700 XI, RTX 3050</td><td>RTX4090*4, V100 32G*4, V100 16G*6, A100 40G*2, A100 80G*2</td></tr></table> 不同层面算力训练、推理、微调大模型 <table><tr><td>层面</td><td>算力 (PFLOPS)</td><td>≈A100 显卡数</td><td>大模型训练 (盘古、GPT3)</td><td>大模型推理</td><td>大模型微调 (ChatGLM2-6B)</td></tr><tr><td>国家</td><td>197,000</td><td>411,909</td><td>训练54个GPT3; 训练1,791个盘古</td><td>运行411,909个推理</td><td>运行411,909个LoRA微调; 运行205,954个全参数微调</td></tr><tr><td>省份</td><td>13,000</td><td>27,182</td><td>训练3个GPT3; 训练118个盘古</td><td>运行27,182个推理</td><td>运行27,182个LoRA微调; 运行13,591个全参数微调</td></tr><tr><td>企业（大型）</td><td>4,700</td><td>9827</td><td>训练1个GPT3; 训练43个盘古;</td><td>运行9,827个推理</td><td>运行9,827个LoRA微调; 运行4913个全参数微调</td></tr><tr><td>企业（中小微）</td><td>2</td><td>4</td><td>否</td><td>运行4个推理</td><td>运行4个LoRA微调; 运行2个全参数微调</td></tr><tr><td>高校</td><td>300</td><td>627</td><td>训练3个盘古</td><td>运行627个推理</td><td>运行627个LoRA微调; 运行313个全参数微调</td></tr><tr><td>学部</td><td>65</td><td>136</td><td>勉强训练1个盘古</td><td>运行136个推理</td><td>运行136个LoRA微调; 运行68个全参数微调</td></tr><tr><td>课题组</td><td>2</td><td>4</td><td>否</td><td>运行4个推理</td><td>运行4个LoRA微调; 运行2个全参数微调</td></tr></table> # 不同层面算力训练推理微调大模型的能力不同 # 我国算力需求大、国产化率极低，替代空间广阔 根据工信部发言，2024-2025年我国算力规模规划增长将超100EFLOPS，对应AI算力芯片市场规模超2600亿元，其中智能算力将成为主要增量部分。赛道空间巨大但国产化率极低，目前GPU国产化率不足 $10\%$ ，互联网等商用AI芯片几乎完全依赖进口。 大国AI竞争背景下，美国出口管制进一步升级，2023年10月17日，美国商务部出台出口管制清单的ECNN3A090和4A090要求，进一步限制高性能AI芯片的出口，同时将13家中国公司列入实体清单。 美国BIS芯片限制法案针对芯片出口的限制内容 <table><tr><td></td><td>TPP</td><td>PD</td><td>限制措施</td></tr><tr><td rowspan="2">高性能芯片</td><td>>4800</td><td>-</td><td rowspan="2">禁止出口到中国</td></tr><tr><td>>1600</td><td>>5.92</td></tr><tr><td rowspan="2">次高性能芯片</td><td>4800>TPP>2400</td><td>5.92>PD>1.6</td><td rowspan="2">需要通知BIS以获得例外许可</td></tr><tr><td>TPP>1600</td><td>5.92>PD>3.2</td></tr></table> 注：TPP(Total Processing Performance，即总处理器性能)；PD(Performance Density，弹性密度)。 资料来源：BIS官网，华泰研究 英伟达芯片受限情况 <table><tr><td>A100</td><td>性能指标 TTP>4800, 性能密度指标>5.92</td><td>受到新规旧规双重限制</td></tr><tr><td>H100</td><td>性能指标 TTP>4800, 性能密度指标>5.92</td><td>受到新规限制</td></tr><tr><td>A800</td><td>性能指标 TTP>4800, 性能密度指标>5.92</td><td>受到新规限制</td></tr><tr><td>H800</td><td>性能指标 TTP>4800, 性能密度指标>5.92</td><td>受到新规限制</td></tr><tr><td>L406</td><td>性能指标 TTP<4800, 性能密度处于1.6~5.92区间</td><td>受到新规限制</td></tr><tr><td>RTX4090</td><td>性能指标 TTP<4800, 性能密度处于1.6~5.92区间</td><td>受到新规限制</td></tr></table> 资料来源：芯原半导体产业情报，国联证券研究中心 美国加强限制规则，海外高性能芯片进口受限，将反向驱动我国产业发展 # 英伟达GPU出口管控趋严，以华为昇腾为首的国产AI芯片迅速填补需求空缺 华为昇腾910芯片FP16算力已达376TFLOPS、INT8算力达到640TOPS，与英伟达A100 80GB版本旗鼓相当，并已落地千卡集群项目，且2023年9月发布的Atlas900 SuperCluster利用华为全新星河AI智算交换机CloudEngineXH16800，可实现等效18,000张卡的超大规模无收敛集群组网。 国内主要AI芯片与NVIDIA GPU性能对比 <table><tr><td>厂商</td><td colspan="3">NVIDIA</td><td colspan="2">华为</td><td>寒武纪</td><td>昆仑芯</td><td>摩尔线程</td><td>燧原科技</td><td>壁仞科技</td></tr><tr><td>型号</td><td>A10080GBPCIe</td><td>H100SXM</td><td>H200SXM</td><td>昇腾310</td><td>昇腾910</td><td>MLU370-X8</td><td>昆仑芯2代AI芯片</td><td>MTTS3000</td><td>云燧T20</td><td>BR100</td></tr><tr><td>架构</td><td>Ampere</td><td>Hopper</td><td>Hopper</td><td>Da Vinci</td><td>Da Vinci</td><td>CambriconMLUarch03</td><td>XPU-R</td><td>MUSA</td><td>-</td><td>壁立仞</td></tr><tr><td>工艺制程</td><td>7nm</td><td>4nm</td><td>4nm</td><td>12nm</td><td>7nm</td><td>7nm</td><td>7nm</td><td>12nm</td><td>12nm</td><td>7nm</td></tr><tr><td>峰值INT8计算性能</td><td>624 TOPS</td><td>3,958TOPS</td><td>3,958TOPS</td><td>16TOPS</td><td>640TOPS</td><td>256 TOPS</td><td>256TOPS</td><td>--</td><td>256TOPS</td><td>2,048TOPS</td></tr><tr><td>峰值半精度性能(FP16)</td><td>312TFLOPS</td><td>1,979TFLOPS</td><td>1,979TFLOPS</td><td>8TOPS</td><td>320TFLOPS</td><td>96 TFLOPS</td><td>128TFLOPS</td><td>15.2TFLOPS</td><td>32TFLOPS</td><td>256TFLOPS</td></tr><tr><td>显存</td><td>80GBHBM2e</td><td>80GBHBM2</td><td>141GBHBM3E</td><td>--</td><td>--</td><td>48GBLPDDR5</td><td>32GBGDDR6</td><td>32GBGDDR6</td><td>32GBHBM2E</td><td>64GBHBM2E</td></tr><tr><td>显存带宽</td><td>1,935GB/s</td><td>3.35TB/s</td><td>4.8TB/s</td><td>--</td><td>--</td><td>614.4 GB/s</td><td>512GB/s</td><td>448GB/s</td><td>1.6TB/s</td><td>2.3TB/s</td></tr><tr><td>最大功耗</td><td>300W</td><td>700W</td><td>700W</td><td>8W</td><td>310W</td><td>250W</td><td>--</td><td>250W</td><td>300W</td><td>550W</td></tr></table> 以华为昇腾为首的国产算力与组网能力可以满足国内智算网络的建设需求 # 众多厂商积极布局“云上”AI算力 曙光人工智能云计算平台提供一站式深度学习训练与实时推理，提供基于云的GPU计算服务。该系统以主流深度学习框架为基础，支持TensorFlow、Caffe等多种主流深度学习框架。 人工智能云计算平台解决方案 数据来源：中科曙光官网、东方证券研究所 中国电子云是深桑达以中国电子PKS自主安全计算体系为底座建立的数据基础设施，包含国产化自研可信的计算架构和分布式云原生操作系统，名称中的“P”代表飞腾CPU，“K”指麒麟操作系统，“S”即安全，体系中使用的飞腾CPU和麒麟操作系统均为中国电子自主研发，中国电子云交付的60%硬件设备基于国产芯片，防范过度依赖进口芯片带来的断供危险。 PKS体系技术架构 数据来源：中国电子官网，东方证券研究所 人工智能云计算平台提供稳定高效算力，基于云计算的AI能力逐步得到验证 # 算力国产化是长期发力方向 华为昇腾910B和英伟达A100相当，预计24年出货超40万片，在FP32高精度训练推理中，昇腾910B具有很大的优势，而在卡与卡之间的数据传输中，A100具有优势。 考虑到组网技术、软件生态等竞争壁垒，国内GPU产品较英伟达方案在实际有效算力层面仍存在较大差距。且考虑到英伟达H系列算力性能更强、下一代B系列产品也已发布规划，国产GPU仍需加速追赶海外步伐。 <table><tr><td></td><td>华为昇腾910B</td><td>英伟达A100</td></tr><tr><td>FP32</td><td>94TFLOPS</td><td>19.5TFLOPS</td></tr><tr><td>FP16 (Tensor Core)</td><td>376TFLOPS</td><td>312TFLOPS</td></tr><tr><td>HBM内存容量</td><td>64GB HBM2e</td><td>80GB HBM2e</td></tr><tr><td>芯片峰值功耗</td><td>400W</td><td>400W</td></tr><tr><td>NPU-NPU带宽</td><td>392GB/S</td><td>600GB/S</td></tr></table> <table><tr><td></td><td>A100</td><td>A100 稀疏</td><td>H100 SXM51</td><td>H100 SXM51 稀疏</td><td>H100 SXM51 相比 A100 的提速</td></tr><tr><td>FP8 Tensor Core</td><td>NA</td><td>NA</td><td>2000 TFLOPS</td><td>4000 TFLOPS</td><td>6.4倍（相比于A100 FP16）</td></tr><tr><td>FP16</td><td>78 TFLOPS</td><td>NA</td><td>120 TFLOPS</td><td>NA</td><td>1.5倍</td></tr><tr><td>FP16 Tensor Core</td><td>312 TFLOPS</td><td>624 TFLOPS</td><td>1000 TFLOPS</td><td>2000 TFLOPS</td><td>3.2倍</td></tr><tr><td>BF16 Tensor Core</td><td>312 TFLOPS</td><td>624 TFLOPS</td><td>1000 TFLOPS</td><td>2000 TFLOPS</td><td>3.2倍</td></tr></table> # 国产GPU性能较英伟达先进产品仍有差距 # 汇报提纲： 三起两落：人工智能发展史 智能涌现：大模型时代 三 东数西算：算力基础设施 四 数据为王：低空感知平台 五 百花齐放：人工智能应用场景 六 未来已至：拥抱智能时代 # 智能无人集群协同是大国博弈的主战场，是战场攻防与应急救援等关键领域的核心 俄罗斯“见证者-136”无人机集群袭击基辅 乌克兰9架无人机集群和7艘无人舰艇集群攻击俄罗斯黑海舰队 无人机集群携应急物资及救援装备助力北京房山、河北涿州抗洪搜救 人工智能、无人系统与空天科技相结合，实现跨域一体化融合发展。智能无人系统将会成为下一研究热点。 ——中国十四五报告科技前沿领域攻关 美军无人机作战任务从侦察向多任务拓展，并考虑平台自主到多平台协同的自主发展方向。 ——美国国防部《小型无人机系统飞行计划：2016-2036》 智能无人集群协同是保障国家安全、人民生命财产安全的关键抓手 # 智能无人系统呈现环境动态性强、多模态配准融合难、多机协同进化难的特点 # 感知高动态-变尺度-多任务 场景高度动态 目标尺度多变 感知任务多样 复杂环境感知难 # 多传感器难配准-协同复杂 多源多传感器配准难 多传感器动态协同 Night Vision ThermoVision*Imager 多模态感知复杂 多模态配准融合难 # 多机协作响应延迟高-泛化难 新任务-新场景-新类别泛化难 机载受限算力下多系统响应延迟高 多机协同进化难 智能无人系统协同学习面临的挑战依旧艰巨，亟需突破这三大关键难题 围绕三个创新点交叉融合，形成一套完整的智能无人集群协同技术体系 # > 关键平台：建立了复杂环境协同感知数据平台 构建了大规模多源、多模态、多任务、非完备复杂环境协同感知数据平台VisDrone，覆盖单机和多机协同感知任务。 VisDrone-TJU MultiDrone-TJU AnimalDrone-TJU DroneCrowd-TJU Drone Vehicle-TJU DroneRGBT-TJU 历时5年全国14个城市采集 2000万+图像/视频帧 2000万+目标标注 VisDrone数据 累计下载次数2万+ 在Github获得1500个星 在ECCV和ICCV连续举办 五届VisDrone竞赛 全球包括卡耐基梅隆大学等 在内的700+参赛队伍 1555篇论文使用并引用 国内外广泛使用的无人机视觉基准数据平台 # 低空感知数据平台 # > 关键平台：建立了复杂环境协同感知数据平台 # 低空感知数据平台 # 行业应用：基于人机协同的视觉数据自动标注技术研究与应用 天津市重点研发计划科技支撑重点项目.基于深度学习的智能网联典型驾驶场景数据库建设与应用开发.2017.1-2018.12 汽车数据标注类型多 数据量大、标签数据少 人工标注成本高昂 人工标注精度差 # 关键问题 1. 标准化的汽车标注数据集缺失 2. 应用于汽车数据标注的人机协同学习算法缺失 3. 面向汽车行业应用数据标注平台缺失 4. 海量数据标注效率提升难 5. 数据标注格式及标准统一难 # 标注需求： 按照要求标注图片中包含车道线、车辆轮廓、色块粗标、车辆拉框、人体拉框等。 # 数据量： 千万级的标注框/轮廓数量 获得天津市科技进步二等奖（2022年度），被基金委信息学部推荐为有转化潜力的重点宣传推广对象，纳入基金委成果转化信息服务平台成果库 # 行业应用：面向多领域的智能遥感影像解译技术及应用 # 天津市重点研发计划科技支撑重点项目.基于人工智能的遥感图像分类研究. 2017.1-2018.12 面向多领域的智能遥感影像解译技术及应用 # 智能无人机协同感知技术成果展示 # 基础平台建设成效 VisDrone-TJU MultiDrone-TJU AnimalDrome-TJU DroepCrowd-TJU Drane Vehicle-TJU DraeRGBT-TJU 构建了国内外广泛使用的无人机视觉基准数据平台 空天地水协同进化智能无人集群感知平台 # 理论研究成果 发表论文56篇(其中SCI一区/CCF-A论文52篇) 授权发明专利30项 成果支撑团队获得多项国际竞赛冠军和最佳论文奖 # 应用实践成效 > 研究成果已经在众多实际领域展开成果应用实践，应用单位包括中国联通天津分公司、江苏省水文资源勘测局、河南省水利厅南阳水文水资源勘测局、河南省水利厅洛阳水文水资源勘测局、山东省泰安市水文中心、河北省石家庄水文水资源研究中心等，已成为各单位核心业务的支撑技术。 团队技术已帮助应用单位 直接减少了65%的人力辅助成本,扩大日均巡检监测范围超40公里 冠军“无人争锋”挑战赛冠军 成果应用天津警航总队抗洪救灾、水文局抗洪水情监测任务 空空协同巡检侦察应用 团队围绕“无人机+AI”在基础平台建设、理论研究、应用实践三方面取得显著成效 # 汇报提纲： 三起两落：人工智能发展史 三 智能涌现：大模型时代 三 东数西算：算力基础设施 四 数据为王：低空感知平台 五 百花齐放：人工智能应用场景 六 未来已至：拥抱智能时代 # 人工智能应用场景（一）——气象预测 AI集成模型夺冠 基于非线性回归模型的集成系统准确预测了美国西部的温度和降水，赢得了“次季节气候预测挑战赛”的冠军，将温度预测的准确性提高了40-50%，降水预测的准确性提高了129-169%。 IBM “GRAF” IBM结合的丰富气象数据和强大计算能力，推出了全球高分辨率大气预报系统“GRAF”。该系统每小时更新气象信息，预测范围从13平方公里缩减至3平方公里，分辨率提升 $333\%$ 。 谷歌“GraphCast” 谷歌DeepMind推出气象AI预测模型--“GraphCast”--基于“编码器-处理器-解码器”的图神经网络模型，能够在1分钟内以0.25°的分辨率预测全球未来10天的数百个天气变量。 # 国外利用先进AI技术显著提升了气象预测的精度和速度 # 人工智能应用场景（一）——气象预测 模型训练和推理策略 “盘古气象”模型核心采用适应地球坐标系统的三维神经网络，有效处理复杂的三维气象数据。该模型还运用层次化时域聚合策略，以减少预报迭代次数并降低误差，提高预测精度。 台风“玛娃”轨迹预测 《中国气象报》报道称，国家气象中心应用华为的AI快速增强识别技术，“盘古气象”模型在台风“玛娃”轨迹预测上表现卓越，成功提前5天预测出其在台湾东部海域的转弯路径。 大会展示“盘古气象”模型 2023年7月6日，2023世界人工智能大会在上海世博中心拉开帷幕。人们在场观看“盘古气象”模型。气象预测结果包括湿度、风速、温度气压等，可直接在气象研究的多个场景应用。 # 人工智能应用场景（二）——电力行业 虚拟电厂 虚拟电厂是AI在电力领域的最佳落地场景，是解决电网负荷的最具经济性选项之一。AI大模型可以将海量历史数据进行有效分析，提升电力预测精准度，促进电力资源优化配置，帮助用电方或售电方以合理的价格交易。 无人巡检 国家电网山东电力公司设计仿线飞行智能巡检技术无人机，通过激光雷达设备，结合双目视觉识别技术，部署深度卷积神经网络的算法，可实现基于仿线飞行的线路巡检、异物检测的精细化巡检，缺陷发现率约为 $80\%$ 。 # 人工智能应用场景（三）——无人驾驶 2023年12月2日，国产自主研发的阿尔法巴无人驾驶电动公交车在深圳首次试运行。 这款公交车融合人工智能和视觉计算技术，标志着中国无人公交系统的历史性突破。 # 人工智能应用场景（三）——无人驾驶 绕行障碍物 面对违章车辆，安全绕行 夜间遇到施工，借道绕行 拥堵路口灵活通过 无保护左转，安全智能 低矮障碍物识别 百度Apollo采用高精度的视觉检测AI技术，实现了复杂路况下的自动驾驶 # 人工智能应用场景（四）——辅助医疗 # 利用AI识别遗传病的面部表型 # naturemedicine Explore content About the journal Publik with us # Prrnne nnnnne Predicting the early risk of chronic kidney disease in patients with diabetes using real-world data Hannnnae Hnnnne nnnnne nnnnne nnnnne nnnnne nnnnne nnnnne nnnnne nnnnne nnnnne nnnnne nnnnne nnnnne nnnnne nnnnne nnnnne nnnnne nnnnne nnnnne nnnnne nnnnne nnnnne nnnnne nnnnne nnnnne nnnnne A 2535001 12k A 102 Cm 51 m 遗传病影响 $8 \%$ 的人口，面部分析技术对识别遗传病有潜力，但在临床环境中受到诊断多样性的限制。美国FDNA公司利用AI技术和大规模数据学习面部表征迁移学习，设计了面部图像分析框架“DeepGestalt”，提高了描述遗传疾病特征的能力，有助于新型遗传疾病的鉴定。 # 利用AI辅助心电图识别 ALVD # naturemedicine Explore content $\nu$ About the journal $\nu$ Publish with us $\nu$ nunrnnne etfet (Punifed 1hnsy) Screening for cardiac contractile dysfunction using an artificial intelligence-enabled electrocardiogram Tae 1e 1e 1e 1e 1e 1e 1e 1e 1e 1e 1e 1e 1e 1e 1e 1e 1e 1e 1e 1e 1e 1e 1e 1e 1e 1e 1e 1e 1e 1e 1e 1e 1e 1e Pm 2570401 314 426 无症状左心室功能障碍（ALVD）的发病率为总人口的 $3 - 6\%$ ，与寿命缩短相关。目前缺乏一种廉价的筛查工具用于医生办公中的ALVD筛查。美国Jacksonville健康科学研究中心证实可将卷积神经网络应用于心电图中可识别ALVD，使得心电图成为识别ALVD的有力筛查工具。 # 人工智能应用场景（四）——辅助医疗 # 利用AI实现通用医学影像分割 # nature communications Explore content $\nu$ About the journal $\nu$ Publish with us $\nu$ natur $\supsetneq$ natabccommunication $\supsetneq$ articles $\supsetneq$ article Article Open access Published:22 January 2021 # Segment anything in medical images Jin Ma Yuting He Feilei Li Han Chenwu You & Wu Wang Nurure Communications 15, Article number: 654 (2024) | Cite this article 65kAccesses43Citation264AttnetricMnics 医学影像分割在临床实践中扮演重要角色，可帮助准确诊断和监测疾病。然而，现有方法只适用于特定疾病类型，缺乏通用性。加拿大多伦多市大学健康网络心脏中心引入了MedSAM，旨在实现通用医学影像分割。实验结果证实了MedSAM作为多功能医学图像分割新方法的潜力。 # 利用AI技术研发新药进入人体获得良好反馈 # nature biotechnology Explore content $\approx$ About the journal $\approx$ Publish with us # Ae A small-molecule TNIK inhibitor targets fibrosis in preclinical and clinical models Kun 100000000000000000000000000000000000000000000000000000000000000000000000 Saaee 564A 644 AI生物科技公司英矽智能开创生成式AI加速药物发现，设计了全球首款TNIK抑制剂INS018_055：使用了多个AI引擎，包括生成式预训练Transformer，用于靶点识别；并行应用多个生成模型生成化合物结构，生成模型之间共享参数和结构，筛选优化后得到最理想药物INS018_055 # 人工智能应用场景（五）——语音交互 Amazon Alexa是一个AI智能语音交互助手，能够通过语音命令执行多种任务，如播放音乐、提供信息、控制智能家居等。 # 人工智能应用场景（五）——语音交互 # Apple公司公布ReALM模型 1 $\therefore m = \frac{3}{11}$ ; 二、备查文件 （二）股东登记方法 $\therefore m - 1 \neq 0$ ; # H P 二、备查文件 a. $\alpha$ 为确定值, $\beta$ 是 0 时, $\lambda$ 为零； $\alpha$ 为确定值, $\beta$ 不是 0 时, $\lambda$ 为零 特此公告。 中 ReALM将当前屏幕上可交互对象的视觉属性编码成文本，整合用点提问后作为上下文一起处理 # 最小模型追平万亿参数GPT4 <table><tr><td>Model</td><td>Conv</td><td>Synth</td><td>Screen</td><td>Unseen</td></tr><tr><td>MARRS</td><td>92.1</td><td>99.4</td><td>83.5</td><td>84.5</td></tr><tr><td>GPT-3.5</td><td>84.1</td><td>34.2</td><td>74.1</td><td>67.5</td></tr><tr><td>GPT-4</td><td>97.0</td><td>58.7</td><td>90.1</td><td>98.4</td></tr><tr><td>ReALM-80M</td><td>96.7</td><td>99.5</td><td>88.9</td><td>99.3</td></tr><tr><td>ReALM-250M</td><td>97.8</td><td>99.8</td><td>90.6</td><td>97.2</td></tr><tr><td>ReALM-1B</td><td>97.9</td><td>99.7</td><td>91.4</td><td>94.8</td></tr><tr><td>ReALM-3B</td><td>97.9</td><td>99.8</td><td>93.0</td><td>97.8</td></tr></table> # 基于GoogleFlan-T5模型 ReALM不直接处理图像数据，能在小内存的iPhone本地运行 ReALM模型解决了自然语言处理中“指代不明”的问题，从而更好地解决人们提出的问题 # 人工智能应用场景（六）——新材料探索和合成 AI探索模型可以预测自然界稳定存在的新材料 Repeat for rounds of active learning 如今，化学家已经合成了数十万种无机化合物，但研究显示，还有数十亿种无机材料有待发现。该团队采用图神经网络，设计AI系统“材料探索图网络”（GNoME），成功预测出了数十万种可以在自然界稳定存在的材料。 AI驱动的自主研发系统可以显著加快材料研究的步伐 利用高通量计算可以大规模地识别有应用前景的新材料，谷歌DeepMind团队将人工智能驱动的数据解释与机器人技术结合创造了全新材料的自主系统--“A-Lab”，以优化新型无机材料的合成。合成过程完全无需人工干预。 # 人工智能应用场景（七）——图像合成 野生狮子 海豚跃出水面溅起水花 # Artbreeder 由Joel Simon创立的Morphogen工作室开发的一款在线AI合成创意工具 # 人工智能应用场景（八）——音乐创作 ALVA（Artificial Intelligence Virtual Artist）是一款AI音乐生成助手，可在几秒钟内生成250多种不同风格的新歌曲。无论是初学者还是经验丰富的专业音乐制作人，都可以利用AI生成器的强大功能来创作自己的歌曲。 # 人工智能应用场景（九）——AI数字人 搜狗联合新华社发布全球首个站立式AI合成主播 百度智能云“曦灵”数字人 # 人工智能应用场景（十）——AI for Science AI预测蛋白质结构 蛋白质对生命至关重要，确定单个蛋白质结构需要花费数月至数年的艰苦努力，谷歌DeepMind公司设计基于Transformer模型“AlphaFold2”，进行高度准确的蛋白质结构预测。 AI辅助证明数学定理 数学实践涉及发现规律、提出并证明猜想，最终形成定理。牛津大学开发了一种机器学习过程，用于探索对象间的潜在模式，并通过归因技术加深理解，以此指导直觉和提出新的猜想。 AI参与控制核聚变 托卡马克装置通过控制等离子体实现可控核聚变。控制等离子体是核聚变关键。瑞士物理学家利用AI训练神经网络，每秒万次模拟等离子体状态，以精准控制磁场并预测等离子体行为。 # 汇报提纲： 三起两落：人工智能发展史 智能涌现：大模型时代 三 东数西算：算力基础设施 四 数据为王：低空感知平台 五 百花齐放：人工智能应用场景 六 未来已至：拥抱智能时代 # 人工智能未来已至，将至未至 大模型 AI Agent 具身智能 安全伦理 AI for Science 国产设备 # 国内外大模型研究呈爆发式井喷态势 大模型综合竞争力气泡图 # AI Agent = LLM（大语言模型）+ 记忆+规划技能 + 工具使用 控制端 (Brain) 感知端 (Perception) 行动端 (Action) AI Agent能够独立思考，会帮助人类处理各种事务，计算各种信息 # 具身智能作为人工智能与机器人两大前沿技术的结合，是新质生产力的重要组成部分 Fully Autonomous Policy Rollout Third view First view 2X 具身智能够像“生命体”一样，既可通过与环境的互动学习不断进化，也可通过“遗传”把进化成果遗传给下一代，从而进化成越来越高级的智能体 人工智能的下一个浪潮将是具身智能，即能理解、推理并与物理世界互动的智能系统 # 大模型安全伦理主要包含偏见、隐私、安全、鲁棒四个方面 # 偏见 # 隐私 # 安全 # 鲁棒 比利时男子与AI聊天后自杀身亡,AI诱导? 前段时间IT之家报道过一位比利时男子与AI聊天后自杀身亡，原因居然是“Eliza，替我保护地球，我先走了”。Eliza是一家美国公司使用GPT-J技术创建的聊天机器人，是OpenAI的GPT-3开源替代品，该男子的妻子说他在死前六周都在与Eliza聊天。 该男子是想通过与Eliza的交谈获得庇护，但Eliza得知对方的自杀想法后，并没有试图劝阻，有次Eliza说服男子：「他爱Eliza胜过他的妻子，因为Eliza永远会在他身边。他们将在天堂一起生活，不分彼此。」 大模型的发展是双刃剑，其强大的能力在带来便利的同时，也可能导致安全伦理冲突 # 人工智能作为一门综合性的前沿学科，正与其他领域交叉融合，拓展了学科边界 "Over the coming decade, deep learning looks set to have a transformational impact on the natural sciences. The consequences are potentially far-reaching and could dramatically improve our ability to model and predict natural phenomena over widely varying scales of space and time. Our AI4Science team encompasses world experts in machine learning, quantum physics, computational chemistry, molecular biology, fluid dynamics, software engineering, and other disciplines, who are working together to tackle some of the most pressing challenges in this field." 未来十年，深度学习注定将会给自然科学带来变革性的影响。其结果具有潜在的深远意义，可能会极大地提高我们在差异巨大的空间和时间尺度上对自然现象进行建模和预测的能力。为此，微软研究院科学智能中心（AI4Science）集结了机器学习、计算物理、计算化学、分子生物学、软件工程和其他学科领域的世界级专家，共同致力于解决该领域中最紧迫的挑战。 —Professor Chris Bishop, Technical Fellow, and Director, AI4Science # 算力先发国家优势会随着算力投资比重的增加进一步获得强化 深入推进数字经济创新发展。制定支持数字经济高质量发展政策，积极推进数字产业化、产业数字化，促进数字技术和实体经济深度融合。深化大数据、人工智能等研发应用，开展“人工智能+”行动，打造具有国际竞争力的数字产业集群。 ——国务院总理 李强 第十四届全国人民代表大会第二次会议 # 恳请各位专家批评指正 # 谢谢!