微软-从100个生成式AI产品中汲取的教训_21页_2mb

报告总结：微软100个生成式AI产品红队测试经验

报告基于微软对超过100个生成式AI产品的红队测试经验，提出了一个内部威胁模型本体论和八个主要经验教训。这些教训强调了红队测试的重要性、自动化工具的应用，以及AI风险评估的挑战。

关键经验教训：

1. 了解系统能力：专注于系统能做什么及应用领域是测试优先级的基础，无需计算梯度即可发现漏洞。
2. 红队测试与安全基准区别：红队测试模拟真实攻击，不是简单的基准评估，两者互补。
3. 自动化扩展测试范围：框架如PyRIT帮助覆盖更多风险，应对复杂和 evolving 风险景观。
4. 人为因素至关重要：红队测试需要人类判断和创造力，不能完全依赖自动化，尤其在评估情感和社会影响风险时。
5. 负责任AI危害难衡量：AI生成有害内容（如偏见、诈骗）的负面影响主观且难以量化，区别于传统安全漏洞。
6. LLMs放大风险：大型语言模型连接外部系统，放大现有安全问题并引入新攻击向量。
7. 安全是永续过程：无法通过单一测试实现绝对安全，需要持续红队测试和故障修复循环。
8. 未来研究方向：提出开放性问题，包括探测新能力、多语言红队测试和AI红队实践标准。

案例研究展示了这些教训在实际中如何应用，示例包括测试视觉语言模型生成非法内容、LLMs自动化诈骗、聊天机器人回应用户困境风险等。结论强调红队测试是AI风险评估的核心，并推动人工智能安全向更安全、可持续的未来发展。