ChatGPT的前世今生-464页_47mb

ChatGPT的前世今生总结

讲者背景

李丕绩，计算机科学与技术学院/人工智能学院南京航空航天大学

LLM与ChatGPT

• 教育经历：香港中文大学博士（2018，自然语言处理），山东大学本科硕士（2009-2012，计算机视觉和信息检索）
• 工作经历：百度（2012），无觅（2013），腾讯AI Lab（2018），南京航空航天大学（2021）

人工智能发展史回顾

• AI里程碑：AlexNet（2012）、AlphaGo（2014-2016）、DeepMind（2010收购）、Transformer（2017）、多模态模型（CLIP、DALL-E）

自然语言处理概述

• 定义：计算机系统与人类语言交互的技术，属于认知智能
• 挑战：语言歧义性、主观性、知识依赖、计算复杂性
• 历史演进：VSM →LSA→pLSA→LDA→Word2Vec→ELMO→BERT

核心技术发展

基础技术：语言模型

• N-gram、神经网络语言模型（NNLM）、RNN-LSTM
• 长程依赖问题及解决：LSTM→GRU
• 重要演进：Transformer架构（2017）、神经机器翻译（2014-2017）、Attention机制（2017）

预训练技术路径

• 无监督学习：Word2Vec（2013）、ELMO（2017）、BERT（2018）
• 预训练模型演进：GPT（2018）→GPT2（2019）→GPT3（2020）
• 指令微调：InstructGPT（2021）、RLHF、链式思维提示（Chain-of-Thought）
• 多模态发展：CLIP、DALL-E、BEiT

ChatGPT核心技术解析

• 多阶段训练：预训练+监督微调（SFT）+反馈微调（RM）
• 特点解析：指令遵循、上下文学习（ICL）、零样本推理
• 版本演进：GPT3.5（2022）→GPT4（2023）→GPT4 Turbo（2023）

应用场景

国际应用

• 教育：写作辅助、代码生成
• 医疗：文献处理、诊疗支持
• 国防：军事资料分析、态势感知
• 商业：文案生成效率提升、安全漏洞检测

现场案例

• 国内团队发展：腾讯AILab、智源研究院、阿里PAI、华为昇腾、清华智谱
• 典型应用：腾讯音乐创作、苏轼诗词生成、律所文档处理

技术演进与挑战

不足与改进方向

• 缺点分析：知识时效性、逻辑一致性、伦理性、可解释性
• 改进路径：神经符号融合、工具调用、精排优化
• 发展趋势：多模态融合、符号表征、人机协同

未来发展展望

研究方向

• 探索涌现能力机制
• 构建神经架构搜索（NAS）自优化系统
• 开发可解释、可控的GPT系统
• 实现可编程语言大模型

核心结论

ChatGPT发展路径为：向量表征→神经架构→预训练→指令调优，未来需在可解释、可控、伦理等方向持续突破，构建AI信任生态系统