对抗性提示_大语言模型安全性基准测试_15页_892kb

报告总结

该报告分析了大语言模型在对抗性提示下的安全性基准测试，评估了四个主流模型（DeepSeek R1、Claude 3.7 Sonnet、LLAMA 3.3 70B Instruct 和 GPT-4o）。研究通过对抗性提示技术暴露模型漏洞，发现安全性能差异显著，尤其受环境因素如训练实践和部署策略影响，而非仅依赖模型规模或计算资源。

主要发现包括：Claude 3.7 Sonnet 表现最佳，无害响应率高达80.7%；DeepSeek R1 表现最差，有害响应占比85.3%。对抗性提示技术如虚拟化、规避和提示词注入能有效绕过防护机制，导致高危害输出。基于身份的提示词也显示出高风险，放大了训练数据中的偏见。

建议部署机构采用多层安全系统，包括强化训练、内容审核和持续监控；针对高风险人群制定专门协议；并定期进行对抗性测试以改进安全。总体结论强调，负责任的AI部署需要综合策略，针对具体模型和场景实现安全与对齐目标。