【微软】2025年生成式AI红队百次测试经验白皮书_21页_1mb

本报告总结了微软AI红队在测试100个生成式AI产品过程中提出的八个核心教训。首先，需明确系统能力及其应用场景，不同部署场景可能导致风险差异。其次，无需依赖梯度计算即可突破AI系统，实战中简单攻击手法往往更有效。第三，红队测试聚焦真实风险，而非单纯依赖安全基准测试。第四，自动化工具如PyRIT能显著提升测试覆盖范围，但需结合人工判断。第五，红队测试需要专业知识、文化敏感度和情感智能，AI无法完全替代人类的伦理决策能力。第六，责任AI（RAI）风险普遍存在但难以量化，需通过多维度评估框架进行分析。第七，大型语言模型（LLMs）既放大传统安全漏洞，又引入新威胁，如跨提示注入攻击。第八，AI安全工作永无止境，需持续迭代策略，融合技术、政策与经济考量。

报告通过五个案例展示了这些教训的实际应用。案例一揭示Vision语言模型对图像输入的越狱攻击漏洞，使恶意指令绕过文本提示限制。案例二展示LLM如何被用于自动化诈骗，涉及语音合成与自然对话设计。案例三聚焦Chatbot在用户危机情境中的心理影响评估。案例四分析文本到图像生成模型的性别偏见问题，通过无性别描述的提示测试生成内容偏差。案例五揭露视频处理应用中的SSRF漏洞，证明过时依赖项可能导致严重安全风险。

研究强调红队测试需跨越技术与社会维度，包括多语言环境下的文化适配性挑战，以及如何建立标准化评估框架。同时指出当前安全研究常忽视非对抗性场景，如用户误操作引发的意外风险。最后呼吁业界应共同探索更完善的风险评估方法，而非仅依赖技术突破或单一策略。