【哈工大计算学部】2025大模型原理、技术与应用：从GPT到DeepSeek

报告摘要

大模型原理、技术与应用总结

核心内容

大模型，又称大语言模型，是人工智能领域的重要研究方向，具有强大的语言理解和生成能力。它们通过大规模的预训练和微调，逐步展现出推理、情感分析、知识获取等复杂能力。当前，大模型正在推动自然语言处理从传统的“语言处理”向“基于语言的智能”转变，成为实现认知智能的关键工具。

主要观点

语言的重要性
语言是人类交流思想、表达情感的最自然工具，也是知识传承的主要载体。自然语言处理（NLP）是实现人工智能认知能力的重要技术，而大模型的出现使得NLP进入了一个新的阶段。
大模型的范式变迁
自然语言处理技术经历了五次范式变迁，从基于专家知识到深度学习，再到预训练语言模型和大模型。大模型的出现，使得模型在推理能力、泛化能力和可解释性方面取得了显著提升。
推理能力的涌现
大模型在推理任务中表现出色，尤其在通过强化学习（RL）和思维链（COT）等技术的加持下，能够逐步生成推理过程并得出准确结论。DeepSeek-R1等模型在多个推理基准测试中表现优异，接近甚至超越某些商业模型。
强化学习与模型优化
人类反馈强化学习（RLHF）和基于结果的强化学习（如GRPO）是提升大模型性能的重要手段。这些方法通过模拟人类反馈，使模型更符合实际应用场景，提升了推理的准确性和可读性。
模型架构与训练效率
DeepSeek系列模型在架构上进行了多项优化，如MoE（混合专家）、MLA（多头潜在注意力）、MTP（多词元预测）等，提升了模型的推理能力与训练效率。同时，通过FP8混合精度训练、DualPipe、跨节点通信优化等技术，显著降低了训练成本。
大模型的可扩展性
随着训练步骤的增加，模型的推理能力逐步增强，并在某些情况下会“突然”涌现出反思和自我评估机制，显示出大模型在复杂任务上的潜力。
大模型在医疗领域的应用
大模型在医疗领域展现出巨大潜力，能够辅助诊断、优化治疗方案、提升患者体验。例如，通过DeepSeek技术，罕见病的诊断时间可以从数年缩短至数周。
模型的挑战与未来方向
尽管大模型在多个方面取得了突破，但仍面临知识推理能力不足、可解释性差、数据安全与隐私保护等挑战。未来需要进一步优化模型架构、提升推理能力，并推动技术与医疗、教育、金融等行业的深度融合。

关键信息

模型发展：从GPT到DeepSeek，大模型技术不断演进，逐步具备推理、情感、多模态等能力。
训练方法：预训练、监督微调（SFT）、强化学习（RL）等技术被广泛应用，以提升模型性能和泛化能力。
模型性能：DeepSeek-R1在多个推理任务中表现优异，接近甚至超越OpenAI的o1模型。
应用案例：DeepSeek被应用于医疗诊断，显著提高了罕见病的识别效率。
模型优化：通过MoE、MLA、MTP等技术，提升了模型的推理能力和训练效率。
挑战与对策：模型仍存在知识推理能力不足、可解释性差等问题，需通过数据安全、伦理规范、人才培养等手段加以解决。

技术亮点

思维链（COT）：通过提供推理过程，提升模型的推理能力与可读性。
强化学习（RL）：通过模拟人类反馈，提升模型在复杂任务中的表现。
GRPO：一种基于结果的强化学习框架，简化了训练流程，提高了学习稳定性。
MoE架构：通过多专家并行计算，提升模型容量，降低计算成本。
FP8混合精度训练：显著减少训练成本，提高模型训练效率。
多词元预测（MTP）：提升推理速度与训练数据利用率。

未来展望

大模型将继续在多个领域发挥重要作用，尤其是在医疗、教育、金融等对推理能力要求较高的行业。同时，随着模型架构的进一步优化和训练成本的降低，大模型将更加普及和实用。未来，模型将更加注重与人类价值观的对齐，提升其在实际应用中的可靠性与可解释性。

表格对比

模型	AIME 2024 pass@1	MATH-500 pass@1	GPQA Diamond pass@1	LiveCode Bench pass@1	CodeForces Rating
OpenAI-o1-mini	63.6	90.0	60.0	53.8	1820
OpenAI-o1-121	74.4	94.8	77.3	93.4	2061
DeepSeek-R1-Zero	71.0	95.9	73.3	1134	1444
DeepSeek-R1	79.8	97.3	71.5	2029	1843

示例任务

1. 计算第五年利润（复合增长率2.5%，初始利润483万元）

计算公式：
$$ \text{最终利润} = \text{初始利润} \times (1 + \text{增长率})^{\text{年数}} $$

计算过程：
$$ 483 \times (1 + 0.025)^5 \approx 483 \times 1.131408 \approx 546.47 $$

最终结果：546.47万元

2. 罕见病诊断时间优化

在AI的帮助下，确诊罕见病的时间可从平均5-10年缩短至最快2周。AI通过分析病例数据和患者特征，快速识别罕见病并提供诊断建议，显著提高诊断效率。

3. 邮件撰写示例

邮件主题：关于A项目交付延期的通知及后续安排
正文：
尊敬的张经理：
您好！
首先，感谢贵公司一直以来对我们工作的信任与支持。关于原定于6月15日交付的A项目，我不得不向您传达一个重要的信息。由于近期硬件供应链出现了不可预见的延迟，导致我们无法按原计划完成交付。经过内部评估，我们预计项目将需要延期约两周时间，新的交付日期暂定为6月29日。
我们深知此次延期可能给贵公司带来不便，对此我们深表歉意。为确保项目质量不受影响，我们将优先保障所有硬件和软件组件的测试与优化工作，并承诺在延期期间每周向贵公司提供详细的进度报告，以便您随时了解项目的最新进展。
如果您有任何疑问或需要进一步沟通，请随时通过以下联系方式与我联系：
邮箱：lihua@company.com
电话：[您的电话号码]
再次感谢您的理解与支持。我们将竭尽全力确保A项目以最高质量交付，并为此次延期带来的不便再次致以诚挚的歉意。
祝工作顺利，期待您的回复！
此致
敬礼
李华
技术部主管
[公司名称]