2025大语言模型（LLM）上手指南-Microsoft_19页_9mb

BE Microsoft目 录 / 了解大语言模型

• 什么是LLM？ 大语言模型，基于深度学习，通过分析大量文本数据，执行文本生成、翻译、分析等任务，应用于广泛领域。
• LLM的“大”体现在哪里？
  • 参数数量（复杂度、表示能力）
  • 训练数据量（语料库）
  • 计算资源需求
• LLM的发展历程：
  • 统计语言模型（90年代）
  • 深度学习崛起与硬件提升（支持RNN）
  • BERT（2018年，预训练新范式）
  • GPT系列（OpenAI，尤其体现生成式AI普及）
• LLM与生成式AI、NLP的关系：
  • NLP：语言理解与生成。
  • 生成式AI：通过模式学习生成内容（图像、音乐、文本）。
  • GPT：先进的NLP技术，后续扩展至多模态。
• LLM的核心应用：
  • 内容创作（文本生成）
  • 摘要生成（压缩信息）
  • 代码生成（辅助编程）
  • 语义搜索（理解查询深层含义）
• 多模态LLM： 超越文本，处理图像、视频、音频等。
  • 文生图（如DALL·E）
  • 图像/视频理解（如GPT-4o）
  • 语音转文字（Whisper）
  • 视频生成（Sora）
• 训练LLM：
  • 架构： Transformer（自注意力机制）。
  • 预训练： 使用大规模文本进行无监督或弱监督学习。
  • 微调： 在特定任务或领域数据上进一步训练。
  • 资源与环境：
    • 硬件验证（netperf, NCCL）
    • 环境选择（本地服务器 vs. 云平台如Azure虚拟机）

/ 训练大语言模型 / 生成大语言模型技术、NLP技术、GPT之关系 / LLM之主要核心应用 / 多模态LLM / 训练LLM

• Transformer： 主要模块包括嵌入、多头注意力、前馈网络、残差连接、归一化。目标是更好的并行处理和捕捉长距离依赖。
• 预训练与微调： 预训练基于海量数据和算力，微调基于特定任务数据，相对成本低。转移学习（微调）是常用技术，但对初始预训练的文本范围有要求，新任务或新语言需重新预训练。
• GPT优化方法：
  • 提示工程： 设计有效提示引导输出。
  • 微调： 在特定领域数据上重训练，需要算力支持（Azure可用）。
  • 检索增强生成 (RAG)： 结合外部知识库，提高时效性、专业领域和生成质量。
• GPT主要应用场景：
  • 知识库问答： 结合RAG，实时/专业领域。
  • 电商详情页优化： 基于GPT生成/优化商品内容。
  • 智能体与多智能体： 编写、交互、协作完成复杂任务。
• 简单易上手的Copilot：
  • Microsoft Copilot： 微软推出的AI助手，整合GPT和微软产品数据，提供生产力、创意、开发辅助。
• 生产力辅助：
  • Microsoft 365, Outlook等集成，聊天界面交互，自动生成内容、总结、指令处理。
• 创意工具：
  • Designer： AI驱动设计工具，实现"文生图"。
• 开发辅助：
  • Copilot Studio： 智能体构建平台，对话式AI快速开发。

/GPT / 简单易上手的Copilot /

/ 总结

• 总体： AI技术（尤其LLM/GPT）发展迅速，对工作生活产生深远影响，能力加速提升。
• 技术路线与支持：
  • 微软布局AI生态系统：Azure云提供基础设施（AI平台、虚拟机），Copilot产品提供端应用。
  • 微软生态伙伴合作，提供多样选择和平台。
• Copilot产品目标： 自动化任务（写作、分析）、提升效率、加强协作。
• 企业AI策略： 加速数字化转型和创新。