浪潮信息：大模型智算软件栈OGAl-v1.0_20页_2mb

大模型智算软件栈总结

核心内容

大模型技术已成为当前AI生成式技术（AIGC）的核心驱动力，推动了AI在多个领域的广泛应用。随着大模型的不断发展，其研发和应用面临着算力需求高、部署复杂、训练稳定性差等挑战。为应对这些挑战，浪潮信息推出了大模型智算软件栈OGAI（Open GenAI Infra），以提供从算力基础设施到模型开发管理的全流程支持，降低大模型使用门槛，提高研发效率。

主要观点

• 大模型技术：大模型技术通过零样本学习、提示词工程、指令微调、强化学习等手段，提升了AI系统的智能化水平，已广泛应用于聊天机器人、办公助手、编程助手等领域。
• 算力需求与挑战：大模型训练对算力、通信性能有极高的要求，需要高效的资源调度和稳定的训练环境。算力平台的构建涉及硬件选型、网络设计、集群调优等多方面技术。
• 浪潮信息的实践：浪潮信息在AI算力基础设施方面积累了丰富的经验，从硬件到软件都提供了成熟的技术方案，并在多个项目中实现了算力效率的显著提升。
• OGAI架构与功能：OGAI是一个面向大模型开发和应用的全栈软件栈，涵盖从基础设施层到多模型管理的五大层级，提供统一管理、自动化部署、高效调度、标准化开发等能力。

关键信息

OGAI整体架构

OGAI由5层组成，分别是：

1. L0 智算中心OS：面向公共算力服务平台，提供多租户、裸金属服务，支持快速部署和高效管理。
2. L1 PODsys.ai：开源、高效、兼容、易用的智算集群系统环境部署方案，涵盖系统部署、环境配置、监控和资源调度。
3. L2 AIStation：商业化AI算力调度平台，支持大规模集群资源调度、任务管理、分布式训练加速、断点续训等功能。
4. L3 YLink：大模型开发工具链，提供数据处理、预训练、微调等环节的标准化工具和流程，包括数据处理工具Y-DataKit和训练工具Y-TrainKit。
5. L4 MModel：多模型管理与服务平台，支持模型接入、服务、评测、数据集管理等功能，提升模型使用与测试的便捷性。

智算中心OS

• 定位：面向公共算力租赁服务，支持多租户、裸金属算力服务。
• 功能：提供统一门户、多级管理、配额管理、完善运维能力，支持多种计费模式。
• 性能：实现计算零损耗，支持高性能裸金属网络，具备批量快速部署能力。

PODsys.ai

• 目标：提供一个开源、高效、兼容、易用的智算集群系统环境部署方案。
• 工具链：包括系统部署、环境配置、系统监控和资源调度。
• 特点：集成主流开源工具，支持一键部署，提供自动化运维工具，兼容多种硬件和软件环境。

AIStation

• 功能：支持主流AI加速芯片、并行文件系统、高性能网络，实现大规模算力调度。
• 调度能力：支持动态、智能的资源管理，实现上千POD极速启动。
• 训练保障：具备断点自动续训、故障自动检测与恢复、全生命周期监管等功能。

YLink

• 定位：聚焦于大模型的数据治理、预训练和微调过程。
• 工具包：
  • Y-DataKit：支持数据采集、清洗、格式转换，提升数据质量。
  • Y-TrainKit：集成NVIDIA Megatron和MS DeepSpeed等主流训练框架，提供分布式训练参考流程。
  • Y-FTKit：支持指令微调（SFT）数据生成、模型微调工具、提示词优化等。
• 流程支持：提供标准化的数据处理和模型训练流程，提升开发效率与质量。

MModel

• 定位：多模型管理与服务平台，支持模型接入、服务、评测、数据集管理。
• 功能：
  • 数据集管理：支持多种类型数据集，提供高效的数据处理和下载功能。
  • 模型纳管：支持多规格、多版本、多类型模型的接入与管理，兼容主流开源与闭源模型。
  • 模型测评：提供一站式基准评测能力，支持语言、知识、推理、多学科等评测方案。
  • 生态合作：鼓励模型与数据的共享，促进技术交流与合作。

总结

OGAI大模型智算软件栈通过全栈支持，从算力基础设施到模型开发与管理，全面覆盖大模型研发与应用的各个环节，旨在提升研发效率、保障训练稳定性、简化部署流程、增强模型管理与评测能力，从而推动生成式AI的广泛应用与落地。