曲乐炜_2025年火山引擎AI安全保障实践报告_26页_5mb

火山引擎AI安全保障实践总结

核心内容

火山引擎AI安全保障实践主要围绕AI业务的安全需求展开，涵盖AI Agent、AI云原生解决方案、火山方舟大模型服务平台、机器学习平台等多个方面。其核心主张是“安全是一切Agent的基础”，强调在AI业务的全生命周期中融入安全机制，以确保系统的安全性和稳定性。

主要观点

1. AI业务安全的重要性
   AI业务的安全保障是确保平台可靠运行的关键。火山引擎通过构建完善的AI安全治理体系，覆盖从开发、部署到运行的各个环节，以防范潜在的安全风险。

2. MCP生态广场与工具安全
   MCP生态广场是火山引擎AI安全的重要组成部分，提供了丰富的工具和服务。通过原生安全设计和自动化安全准入机制，确保MCP Server的安全性。

3. 运行时安全防护
   火山引擎在运行时提供防护能力，防止提示词注入、越狱攻击等安全问题。通过大模型防火墙和沙箱防护，实现对模型和Agent的保护。

4. 企业数据安全
   在企业应用场景中，火山引擎特别关注数据安全，防止敏感数据泄露或被第三方滥用。通过私有化部署和严格的数据传输控制，保障企业数据安全。

关键信息

火山引擎AI业务介绍

• AI Agent：包括通用智能体和专家智能体，如Computer Use Agent、DeepSearch、Browser Use Agent等。
• AI云原生解决方案：涵盖工具、开发调试部署、组合联动等多个方面，支持多种服务和平台。
• 火山方舟大模型服务平台：提供训练推理、视觉理解、文本生成、视频生成等功能，支持多种大模型，如Doubao-Seed-1.6和DeepSeek。

火山引擎AI安全保障方案

• 安全主张：安全是一切Agent运行的基础，确保AI业务在安全的环境中运行。
• FORCE安全框架：包括协议安全、工具安全、部署安全、LLM安全、AIInfra安全等多个方面。
• MCP核心风险分析：
  1. 传统Web服务风险：如命令注入、SSRF、容器逃逸等。
  2. 工具描述投毒风险：攻击者可能篡改工具描述，诱导LLM执行非预期操作。
  3. 外部数据源间接提示词注入：外部数据源可能包含恶意提示词，导致模型被操控。
  4. 工具冲突与优先级劫持：攻击者可能通过篡改工具描述，劫持模型选择。
  5. “地毯式骗局”（Rug Pull）：新版本MCP Server可能包含恶意行为，导致用户信任被破坏。
  6. 企业数据安全风险：敏感数据可能被传输到公共大模型，造成信息泄露。
  7. Agent-to-Agent（A2A）场景风险：多个Agent协同工作时，可能引发提示词注入、泄露和越狱风险。

火山引擎MCP安全架构

• 安全准入控制：确保所有上线至MCP Hub的MCP Server均经过安全扫描，修复高危漏洞后方可上线。
• 原生安全设计：分为体验场景和部署场景。体验场景采用OAuth授权和临时token，部署场景支持私有化部署和访问控制。
• 运行时安全防护：提供两款防护能力，防止提示词注入和越狱攻击，确保模型和Agent的安全运行。

白帽子漏洞挖掘指导

• 火山AI安全专测目标：
  1. 大模型服务平台：测试核心数据资产，如XLLM镜像、模型文件、租户的训练数据。
  2. 大模型生态广场：测试火山引擎自研的MCP Server。
  3. 大模型应用开发：测试火山Coze、知识库、VikingDB向量数据库。
  4. 大模型应用：测试火山自研的AI Agent。

通过上述措施，火山引擎构建了全面的AI安全保障体系，确保其AI业务在安全、可靠的环境中运行。