2023-12-27-英特尔-2023云原生产业大会-构建可信AIGC云原生应用_16页_1mb

构建可信的AIGC云原生应用总结

机密容器（Confidential Containers）

• 作为CNCF沙箱项目，提供基于硬件TEE的安全容器运行时环境。
• 专注于应用安全：利用远程证明构建信任，保护应用/模型/数据。
• 设计原则：广泛应用支持、高性能、易于部署和运维，无需应用修改。
• 提供Pod级TCB，实现IT运维人员不可信的信任模型。

英特尔平台可信AIGC能力

• 利用硬件TEE如Intel® TD和AMX进行安全增强。
• 技术包括Intel® TDX和TDX Connect，实现虚拟机级别和异构TEE保护。
• 星云微矩阵扩展（AMX）优化，用于大语言模型推理，支持BF16、INT8、INT4等数据类型。
• 第四代英特尔®至强®CPU Max提升云原生AI性能。

应用优化

• Intel® Extension for PyTorch*针对LLM优化，提供高效的定制GEMM内核和算子融合。
• 支持多种LLM模型如Llama2、GPT-J、Falcon，提高推理弹性。

部署场景

• 公有云上：保护关键模型/IP。
• 私有数据中心上：实施端到端零信任覆盖。
• 强调安全上云，为AIGC应用提供可靠基础。