人工智能安全风险测评（2025年）_115页_2mb

报告摘要

人工智能安全风险测评（2025年）白皮书总结

核心内容概述

《人工智能安全风险测评（2025年）》白皮书系统梳理了当前人工智能发展态势、安全风险特征及测评体系构建路径，旨在推动人工智能技术实现“安全可控”与“创新发展”的动态平衡。白皮书聚焦以大语言模型（LLM）为核心的人工智能系统，围绕“为何测、测什么、怎么测、测哪些”四个核心问题，构建了涵盖技术安全、伦理合规、系统可控等多维度的测评框架，为人工智能安全治理提供系统化工具与操作指引。

主要观点

人工智能安全风险特征
- 多维复杂性：风险涉及技术、伦理、法律、社会等多个层面，且呈现动态性、对抗性与系统性。
- 动态性：人工智能系统行为难以完全预测，需建立持续性、适应性的安全测评机制。
- 对抗性：随着防御技术的进步，攻击者也在利用人工智能进行自动化攻防，形成“军备竞赛”。
- 系统性：人工智能生态系统高度依赖少数核心组件，一个漏洞可能引发全局性风险。
人工智能安全风险测评体系
- 目标设定：围绕“安全性、可靠性、可控性、公平性”四大核心目标，构建多维度安全测评体系。
- 内容覆盖：涵盖系统全生命周期，包括系统规划与设计、数据采集与处理、模型训练与构建、模型验证与确认、平台部署与集成、系统运行与监测、用户使用与影响等。
- 方法技术：采用“目标设定—内容实施—方法技术—对象覆盖—风险度量—持续优化”的反馈控制逻辑，实现测评闭环管理。
- 对象覆盖：覆盖应用层、模型层、数据层、设施层等，确保测评对象的全栈覆盖。
- 风险度量：构建红（致命风险）、橙（高风险）、黄（中风险）、绿（低风险）四级风险度量体系，实现测评结果的量化评估。
测评关键技术
- 输入层测试：针对用户输入与外部数据，防止数据污染与隐私泄露。
- 训练层测试：识别对抗样本、后门植入等训练过程中的安全风险。
- 模型层测试：评估模型鲁棒性、安全性、可解释性等关键性能。
- 输出层测试：检测模型输出内容是否合规、安全，防止生成有害信息。
- 部署层测试：保障系统部署与集成的安全性，防止接口滥用与权限失控。

关键信息

测评实施路径

全生命周期覆盖：测评贯穿人工智能系统从设计、训练、部署、运行、迭代、退役的全过程。
多维度融合：测评内容涵盖技术安全、内容安全、伦理安全、供应链安全、用户与身份安全、合规与伦理风险、管理类风险等。
标准统一：推动建立统一的人工智能安全风险测评标准，增强测评的权威性与可操作性。

测评工具与平台

公共机构测评平台：包括美国NIST的Dioptra、英国AISI的Inspect、新加坡IMDA的Moonshot等，为人工智能安全测评提供标准化工具。
厂商测评平台：如微软Azure AI安全测评工具、Google Cloud Vertex AI、Amazon Bedrock等，提供可集成、可运营的安全测评服务。
红队攻防评测工具集：如PyRIT、Garak、DeepTeam、Promptfoo、ViolentUTF等，为测评提供攻击模拟与防御验证能力。