> **来源：[研报客](https://pc.yanbaoke.cn)** # 生成式和代理式 AI 就绪基础设施战略总结 ## 核心内容 本简报由IDC副总裁Mary Johnston Turner撰写，聚焦生成式人工智能（GenAI）和代理式AI在企业基础设施现代化中的关键作用。随着AI技术的快速普及，其对计算、存储和网络基础设施的需求正在显著增长。企业需要在性能、安全、合规、成本和可持续发展等多个维度优化基础设施战略，以支持AI从概念验证（POC）向规模化生产的过渡。 ## 主要观点 - **AI将成为企业基础设施投资的核心驱动力**：未来两年，AI工作负载将显著影响企业的计算和存储资源利用，成为基础设施投资和变革的主要方向。 - **基础设施优化是AI成功的关键**：企业若不了解AI应用层和数据层的基础设施需求，将面临更高的成本和运营挑战。 - **AI模型选择影响基础设施需求**：不同的AI模型和应用场景对基础设施的性能、扩展性、安全性等要求差异显著，企业需根据具体需求选择合适的模型和平台。 - **部署决策需综合考虑安全、成本、连接性和数据主权**：企业在决定AI应用和数据的部署位置时，应结合延迟、性能、合规和数据隐私等因素。 - **治理和运营模式至关重要**：建立AI卓越中心有助于协调各部门，制定统一的AI战略和部署框架，推动企业整体AI就绪进程。 - **概念验证应与生产规模相匹配**：设计概念验证时需考虑其最终的生产需求，确保平台和部署模式的适配性。 - **AI就绪型基础设施需具备灵活性和可扩展性**：企业应投资于能够适应不同AI场景的基础设施，同时注重互操作性、可移植性和持续更新能力。 ## 关键信息 ### AI基础设施需求 - **性能**：许多AI工作负载需要高性能计算和数据处理能力，尤其是在实时分析和决策场景中。 - **安全与合规**：企业必须确保其基础设施具备强大的安全控制和合规功能，以满足AI监管要求。 - **成本管理**：AI工作负载在生命周期各阶段对基础设施的消耗差异较大，需根据需求选择成本效益高的部署方式。 - **可持续发展**：高性能AI基础设施的能耗较高，因此在模型选择和部署时需考虑能源使用和可持续性。 ### AI模型选择与基础设施匹配 - **模型规模**：从数百万参数到超过2万亿参数不等，模型大小直接影响基础设施需求。 - **部署模式**：根据模型的定制化程度、更新频率和数据处理需求，选择本地部署、边缘计算或云平台。 - **基础设施类型**：包括本地部署、数据中心托管、专用基础设施即服务和共享公有云服务等，各有优缺点。 ### 部署决策因素 - **延迟和性能**：影响部署位置的选择，如本地数据中心、边缘或云平台。 - **数据隔离与主权**：企业需根据数据隐私和合规要求决定数据存储和处理的位置。 - **成本与灵活性**：按量计费模式适合长期使用，而专用资产则提供可预测的成本。 - **互操作性与可移植性**：支持动态持续的模型更新和迁移，有助于企业适应变化。 ### AI卓越中心的作用 - 协调IT、业务部门、开发和数据团队，确保AI战略与业务目标一致。 - 制定统一的决策框架和部署指南，优化AI基础设施投资。 - 定义并实施数据合规、道德和安全措施。 - 促进跨AI场景的数据和工作流集成。 ### 概念验证设计 - 概念验证应基于实际应用场景和生产规模需求进行设计。 - 需考虑模型自定义、更新频率、数据互操作性和输出精度等因素。 ### 基础设施成功要素 - 调整现有治理和运营模式，以适应AI驱动的业务。 - 采用工作负载和数据驱动的决策框架。 - 根据使用场景匹配应用和数据到合适的平台和部署模式。 - 重视互操作性和可移植性，实现动态模型更新和迁移。 - 利用开源社区和供应商的最佳实践，推动创新。 - 投资人员、流程和技能，实现自动化和智能运营。 ## 赞助商寄语：NVIDIA与AWS合作 - **NVIDIA全栈解决方案**：提供端到端的AI平台，涵盖高性能硬件、优化软件和开发工具，加速AI生命周期的每个阶段。 - **NVIDIA NIM微服务**：支持在AWS上快速部署高性能AI模型推理，适用于多种场景，如科学推理、代码编写和视觉推理。 - **NVIDIA Dynamo框架**：优化性能和可扩展性，支持AWS多服务集成。 - **NVIDIA Run:ai**：实现高级工作负载编排，与AWS EKS集成，简化集群管理和自动化部署。 - **NVIDIA DGX Cloud**：提供开箱即用的全栈AI平台，整合AWS和NVIDIA资源，提升AI项目推进效率。 - **成本效益**：AWS的按使用量计费模式确保企业只为实际使用的资源付费，降低运营复杂性和成本。 - **安全与合规**：结合NVIDIA“设计即安全”理念和AWS的加密网络、身份认证及合规能力，保障数据和模型安全。 - **生态系统与合作**：依托AWS和NVIDIA的全球合作网络，企业可获得丰富的工具、支持和创新成果。 ## 结论 生成式和代理式AI正在成为企业数字化转型的核心驱动力，其成功部署依赖于对基础设施的全面理解和优化。企业应根据具体场景和需求，制定灵活、可扩展、安全、合规的AI就绪型基础设施战略，以实现AI技术的高效利用和价值创造。