2025生成式和代理式AI就绪基础设施战略_17页_1mb

生成式和代理式 AI 就绪基础设施战略总结

核心内容

本简报由IDC副总裁Mary Johnston Turner撰写，聚焦生成式人工智能（GenAI）和代理式AI在企业基础设施现代化中的关键作用。随着AI技术的快速普及，其对计算、存储和网络基础设施的需求正在显著增长。企业需要在性能、安全、合规、成本和可持续发展等多个维度优化基础设施战略，以支持AI从概念验证（POC）向规模化生产的过渡。

主要观点

• AI将成为企业基础设施投资的核心驱动力：未来两年，AI工作负载将显著影响企业的计算和存储资源利用，成为基础设施投资和变革的主要方向。
• 基础设施优化是AI成功的关键：企业若不了解AI应用层和数据层的基础设施需求，将面临更高的成本和运营挑战。
• AI模型选择影响基础设施需求：不同的AI模型和应用场景对基础设施的性能、扩展性、安全性等要求差异显著，企业需根据具体需求选择合适的模型和平台。
• 部署决策需综合考虑安全、成本、连接性和数据主权：企业在决定AI应用和数据的部署位置时，应结合延迟、性能、合规和数据隐私等因素。
• 治理和运营模式至关重要：建立AI卓越中心有助于协调各部门，制定统一的AI战略和部署框架，推动企业整体AI就绪进程。
• 概念验证应与生产规模相匹配：设计概念验证时需考虑其最终的生产需求，确保平台和部署模式的适配性。
• AI就绪型基础设施需具备灵活性和可扩展性：企业应投资于能够适应不同AI场景的基础设施，同时注重互操作性、可移植性和持续更新能力。

关键信息

AI基础设施需求

• 性能：许多AI工作负载需要高性能计算和数据处理能力，尤其是在实时分析和决策场景中。
• 安全与合规：企业必须确保其基础设施具备强大的安全控制和合规功能，以满足AI监管要求。
• 成本管理：AI工作负载在生命周期各阶段对基础设施的消耗差异较大，需根据需求选择成本效益高的部署方式。
• 可持续发展：高性能AI基础设施的能耗较高，因此在模型选择和部署时需考虑能源使用和可持续性。

AI模型选择与基础设施匹配

• 模型规模：从数百万参数到超过2万亿参数不等，模型大小直接影响基础设施需求。
• 部署模式：根据模型的定制化程度、更新频率和数据处理需求，选择本地部署、边缘计算或云平台。
• 基础设施类型：包括本地部署、数据中心托管、专用基础设施即服务和共享公有云服务等，各有优缺点。

部署决策因素

• 延迟和性能：影响部署位置的选择，如本地数据中心、边缘或云平台。
• 数据隔离与主权：企业需根据数据隐私和合规要求决定数据存储和处理的位置。
• 成本与灵活性：按量计费模式适合长期使用，而专用资产则提供可预测的成本。
• 互操作性与可移植性：支持动态持续的模型更新和迁移，有助于企业适应变化。

AI卓越中心的作用

• 协调IT、业务部门、开发和数据团队，确保AI战略与业务目标一致。
• 制定统一的决策框架和部署指南，优化AI基础设施投资。
• 定义并实施数据合规、道德和安全措施。
• 促进跨AI场景的数据和工作流集成。

概念验证设计

• 概念验证应基于实际应用场景和生产规模需求进行设计。
• 需考虑模型自定义、更新频率、数据互操作性和输出精度等因素。

基础设施成功要素

• 调整现有治理和运营模式，以适应AI驱动的业务。
• 采用工作负载和数据驱动的决策框架。
• 根据使用场景匹配应用和数据到合适的平台和部署模式。
• 重视互操作性和可移植性，实现动态模型更新和迁移。
• 利用开源社区和供应商的最佳实践，推动创新。
• 投资人员、流程和技能，实现自动化和智能运营。

赞助商寄语：NVIDIA与AWS合作

• NVIDIA全栈解决方案：提供端到端的AI平台，涵盖高性能硬件、优化软件和开发工具，加速AI生命周期的每个阶段。
• NVIDIA NIM微服务：支持在AWS上快速部署高性能AI模型推理，适用于多种场景，如科学推理、代码编写和视觉推理。
• NVIDIA Dynamo框架：优化性能和可扩展性，支持AWS多服务集成。
• NVIDIA Run:ai：实现高级工作负载编排，与AWS EKS集成，简化集群管理和自动化部署。
• NVIDIA DGX Cloud：提供开箱即用的全栈AI平台，整合AWS和NVIDIA资源，提升AI项目推进效率。
• 成本效益：AWS的按使用量计费模式确保企业只为实际使用的资源付费，降低运营复杂性和成本。
• 安全与合规：结合NVIDIA“设计即安全”理念和AWS的加密网络、身份认证及合规能力，保障数据和模型安全。
• 生态系统与合作：依托AWS和NVIDIA的全球合作网络，企业可获得丰富的工具、支持和创新成果。

结论

生成式和代理式AI正在成为企业数字化转型的核心驱动力，其成功部署依赖于对基础设施的全面理解和优化。企业应根据具体场景和需求，制定灵活、可扩展、安全、合规的AI就绪型基础设施战略，以实现AI技术的高效利用和价值创造。