> **来源：[研报客](https://pc.yanbaoke.cn)** # 盘古大模型最佳实践总结 ## 核心内容 本文档是关于**盘古大模型**的**最佳实践指南**，旨在帮助用户在**ModelArts Studio**平台上更好地使用盘古大模型进行**提示词写作、数据集构建、模型训练、模型调优、Agent应用**等任务。文档内容结构清晰，涵盖了多个应用场景和具体操作步骤，适合不同层次的用户进行实践操作和学习参考。 --- ## 主要观点 1. **提示词写作**是提升大模型输出效果的关键，通过明确指令、补充说明、上下文、恰当的表述、结构优化、顺序安排和预设等多种方法，可以显著提升模型的输出质量。 2. **数据集构建**是模型训练的基础，包括数据获取、预处理、导入、加工、评估和发布等多个环节，需根据任务需求选择合适的数据来源和加工策略。 3. **模型训练**分为增量预训练、微调训练、蒸馏训练和科学计算大模型微调等场景，每个场景都有其特定的数据集构建和训练流程。 4. **模型调优**包括训练数据优化、训练参数调整、提示词优化、推理参数优化等，是提升模型性能的重要手段。 5. **Agent应用**提供零代码和低代码的实践案例，帮助用户快速构建智能应用，如AI研读助手和智能助教工作流。 --- ## 关键信息 ### 1. 提示词写作实践 - **提示词定义**：提示词是与大模型交互的输入，可以是问题、描述等文本形式。 - **提示词要素**： - 指令：明确模型要完成的任务。 - 说明：补充任务要求，如输出格式、内容限制等。 - 上下文：提供背景信息，帮助模型理解任务。 - **常用方法论**： - 打基础：从简单的提示词开始，逐步增加细节。 - 补说明：对任务进行清晰的描述，避免歧义。 - 恰当的表述：使用主谓宾结构、常见词汇、肯定句等。 - 搭结构：合理安排提示词结构，避免内容混杂。 - 排顺序：将关键信息放在提示词的最后。 - 补预设：预设多种情境，防止模型误回答。 - **进阶技巧**： - 设置背景及人设：提升生成内容的针对性和适用性。 - 理解底层任务：明确任务本质，避免模型引入外部知识。 - CoT（思维链）：通过示例引导模型进行推理，提高准确率。 - 考察模型逻辑：通过反问、复述等方式，提升模型可解释性。 ### 2. 构建数据集实践 - **数据来源**：包括网页、对话、书籍、代码、学术论文、开源数据集等。 - **常用数据集**： - **FineWeb Edu**：1.3万亿token的教育类数据集，适用于NLP任务。 - **OpenNewsArchive**：880万篇中文新闻文章，适合新闻类任务。 - **ChineseFinewebEdu**：90M条高质量中文文本数据，约300GB。 - **CCI 3.0**：1000GB的高质量中文数据集，适用于金融领域。 - **Duxiaoman-DI/FinCorpus**：20GB的金融资讯数据集，涵盖多种类型。 - **IndustryCorpus**：3.4TB的多行业中文数据集，涵盖18个行业。 - **IndustryCorpus2**：进一步优化的行业数据集，包含更多高质量数据。 - **数据预处理**：将数据转换为JSONL格式，确保格式统一。 - **数据导入**：需准备OBS桶和资源池，支持大模型调优和部署。 - **数据加工**：包括数据清洗、合成、标注等操作，提升数据质量。 - **数据评估**：通过抽样和人工评估，确保数据集的质量和代表性。 - **数据配比**：根据任务需求调整通用数据和行业数据的比例，确保模型性能和泛化能力。 ### 3. 模型训练实践 - **增量预训练**：适用于已有模型基础上进行扩展训练，提升特定领域能力。 - **微调训练**：针对特定任务对模型进行优化，提升任务表现。 - **模型蒸馏**：通过简化模型结构，提升推理效率，同时保持模型性能。 - **科学计算大模型微调**：适用于科学计算类任务，提升模型对特定数据的处理能力。 - **训练流程**：包括构建数据集、创建训练任务、部署任务、评测和优化模型。 ### 4. 模型调优实践 - **调优方法**： - 优化训练数据质量：确保数据完整、准确、一致。 - 优化训练超参数：调整学习率、批量大小等，提升模型训练效果。 - 优化提示词：使用更清晰、具体的提示词，提升模型输出质量。 - 优化推理超参数：调整推理时的参数，如最大长度、温度等。 - **调优场景**： - NLP大模型调优：从训练数据、训练参数、提示词、推理参数等方面优化。 - 科学计算大模型调优：关注训练数据和训练参数，提升模型精度和性能。 ### 5. Agent应用实践 - **零代码构建AI研读助手**： - 方案设计：基于学术研究场景，帮助用户深入理解文章内容。 - 构建流程：包括创建应用、配置节点、部署等。 - 典型问题：如模型输出不符合预期、任务逻辑不清等。 - **低代码构建智能助教工作流**： - 方案设计：基于语文知识，构建智能助教系统。 - 构建流程：通过不同节点实现任务流程。 - 典型问题：如节点配置错误、数据不匹配等。 --- ## 总结 文档内容全面覆盖了盘古大模型的使用流程，从**提示词写作、数据集构建、模型训练、模型调优到Agent应用**，提供了详细的实践指导和操作步骤。文档强调了在不同任务中如何优化提示词、数据集和模型参数，以提升模型效果和业务应用的准确性。同时，文档还提供了多个实际案例，帮助用户理解并应用这些最佳实践，是使用盘古大模型进行大模型开发的重要参考资料。