生成式和代理式AI就绪基础设施战略_17页_1mb

生成式和代理式 AI 就绪基础设施战略总结

核心内容

生成式人工智能 (GenAI) 正在迅速发展，并成为企业基础设施投资和变革的首要驱动力。企业正在加速投资计算、存储和网络基础设施，以支持AI的广泛应用。AI的部署和规模化运营不仅涉及技术层面，还与治理、运营模式和基础设施战略密切相关。本文旨在为企业提供关于如何构建AI就绪型基础设施的指导，并强调了基础设施与AI场景之间的匹配关系。

主要观点

1. AI将成为企业投资的核心
   未来两年，AI工作负载将显著影响企业的计算和存储资源利用，成为基础设施投资的首要驱动力。

2. 基础设施优化是成功的关键
   AI项目的成功依赖于对应用层和数据层基础设施要求的深入了解，这包括性能、安全、合规、成本和可持续发展等方面。

3. AI模型选择影响成本、成果和基础设施需求
   不同的AI模型和场景对基础设施有不同的要求，企业需根据具体需求选择合适的模型和部署方式。

4. 部署决策需综合考虑安全、成本、连接性和数据主权
   在选择部署位置（如本地数据中心、托管、公有云等）时，企业应考虑这些关键因素以确保最佳实践。

5. 治理与协调是AI就绪的关键
   建立AI卓越中心，协调IT、业务部门、开发和数据团队，有助于统一决策框架和部署指南，推动企业整体AI就绪。

6. 概念验证需匹配生产规模要求
   在设计概念验证时，应考虑AI任务与场景的匹配性，以及其潜在效益、可行性、治理和投产路线图。

关键信息

• AI经济影响：预计到2030年，AI采用者每投入1美元在AI解决方案和服务上，将带来4.60美元的间接和诱导效应。
• 基础设施要求差异：AI模型的规模、性能、使用量、数据量、自定义程度和所需价值实现时间等因素决定了基础设施的具体需求。
• 部署模式选择：企业需根据延迟、性能、数据隔离、合规和主权等要求，选择最适合的部署方式（本地、托管、公有云等）。
• AI就绪型基础设施成功要素：包括调整治理和运营模式，建立跨平台的互操作性和可移植性，利用开源社区和供应商创新，以及投资人员、流程和技能。

治理与部署建议

AI卓越中心的作用

AI卓越中心应由专家组成，负责制定决策框架和部署指南，协调IT、业务部门、开发和数据团队，以确保AI投资与业务成果一致。其职责包括：

• 定义并实施数据合规、道德和安全护栏
• 共享经验教训，建立统一的治理模式
• 制定融资模式，促进跨AI场景的数据和工作流集成

概念验证设计指南

企业在设计概念验证时应考虑以下因素：

• AI与任务匹配：确保AI模型与业务场景相适应
• 价值评估：分析成本、效率和用户体验
• 复杂性评估：评估工具可用性、技能和文化就绪情况、安全与合规
• 投产路线图：制定与主要利益相关者互动的计划，建立KPI和ROI跟踪系统，推动人员、流程和工具的转型

基础设施与AI场景匹配

AI模型对基础设施的影响

• 模型规模：从数百万到数万亿参数不等
• 数据量：从几GB到数PB不等
• 性能需求：AI工作负载通常需要高性能计算和数据处理能力，尤其是实时分析和决策场景
• 成本与可持续性：基础设施成本和能源使用直接影响可持续发展

赞助商寄语：NVIDIA与AWS全栈解决方案

NVIDIA与AWS合作，提供了一套完整的AI基础设施解决方案，涵盖：

• 高性能硬件：如GPU、AI超级计算机、边缘计算系统
• 优化软件：如CUDA、TensorRT、Dynamo、RAPIDS等
• 开发者工具：如NVIDIA NIM微服务、NVIDIA Run:ai工作负载编排工具

NVIDIA全栈解决方案优势

• 灵活性与可扩展性：支持从概念验证到全球部署
• 性能优化：部署时间从数周缩短至数分钟
• 安全与合规：结合NVIDIA“设计即安全”理念与AWS的加密网络、身份认证和区域合规（如GDPR、HIPAA、SOC 2）
• 成本效益：基于使用量的计费模式，避免资源闲置
• 生态系统支持：借助AWS全球合作伙伴和NVIDIA开发者社区，推动AI创新

治理与运营模式

企业应根据其运营模式优先项（如客户责任、共同责任、提供商责任）选择合适的部署方式。同时，需建立统一的治理模式，以确保AI项目的可持续性和效率。

结论

AI就绪型基础设施的成功依赖于对模型、场景和部署方式的全面理解。企业应通过调整治理和运营模式、利用AI卓越中心、设计符合生产规模的概念验证，并选择合适的合作伙伴（如NVIDIA和AWS）来加速AI的部署和规模化运营，从而实现业务目标和创新优先级。

IDC分析师： Mary Johnston Turner，IDC未来数字基础设施议程研究副总裁，专注于企业IT和业务战略，研究AI基础设施的部署和优化。

文档来源： IDC 2024年研究报告，包含多个关于AI基础设施和部署的专题分析。

注： 本文内容为IDC定制化解决方案部门制作，已获得外部使用许可。