人工智能背景下数据安全八大发展趋势总结
核心内容
在人工智能时代,数据成为技术发展的核心驱动力,其安全问题也变得日益复杂。为应对数据安全的新挑战,中国信通院从数据责任、数据使用、数据流通、智能体安全四个视角出发,梳理出人工智能时代数据安全的八大发展趋势,旨在构建系统性策略,保障数据安全与人工智能的健康发展。
主要观点
- 数据是人工智能生态构建的底层驱动:数据的丰富性、质量与多样性直接影响模型性能与用户体验,推动“马太效应”形成。
- 数据价值与数据保护密切相关:数据泄露或质量污染将直接影响模型性能与竞争力。
- 数据安全责任从静态划分转向动态适配:随着模型、数据、算力的组合,责任边界更加模糊,需结合场景进行责任划分。
- 机密计算成为数据“使用中安全”的新基建:通过硬件级隔离技术,实现数据“可用不可见”与结果“可验证不可伪造”。
- “模数共振”推动数据汇聚、训练与协同环节的安全布控:需通过制度与技术手段应对数据融合、模型训练数据泄露、协同确权等风险。
- 可信数据空间迈向人工智能原生驱动:数据空间从“规则驱动”升级为“智能驱动”,智能体成为数据治理与安全执行的核心。
- 构建智能体可信数据使用环境:需从身份、权限、行为三方面系统性管控,防止越权操作与数据污染。
- 零信任理念在智能体协同场景中扩展应用:从系统级扩展到智能体行为级,建立“新边界”以应对数据流转失控与污染风险。
关键信息
数据类型与权责归属
| 数据类型 |
数据所有者 |
模型拥有者 |
智能体服务商 |
| 模型数据 |
数据持有权、数据使用权 |
数据持有权、数据使用权、数据经营权 |
数据使用权 |
| 推理数据 |
数据持有权、数据使用权、数据经营权 |
- |
- |
| 衍生数据 |
数据持有权、数据使用权、数据经营权 |
数据持有权、数据经营权 |
- |
| 生成数据 |
数据持有权、数据使用权 |
数据持有权、数据使用权 |
数据使用权 |
数据安全责任划分维度
| 维度 |
传统数据安全责任 |
人工智能时代数据安全责任 |
| 责任主体 |
用户+服务商 |
用户+服务商+大模型拥有者 |
| 典型场景 |
自研系统、云存储、软件采集 |
智能体应用、API调用、平台工具链、自训练模型 |
| 保护对象 |
个人数据、业务数据、系统数据 |
模型参数、训练数据、生成内容、提示词 |
| 典型风险 |
DDoS、数据泄露、漏洞利用、入侵 |
模型投毒、后门攻击、对抗样本、模型偏见、输出违规内容 |
| 责任边界 |
较清晰 |
较模糊,需场景化分析 |
机密计算五大应用等级
| 应用场景 |
安全挑战 |
机密计算解决方案 |
| 多方数据协作 |
数据交付后使用范围与频次难以约束 |
TEE飞地隔离计算,数据零暴露 |
| 云上计算 |
云平台管理员可读取内存明文 |
硬件可信根+远程证明,确保环境不可伪造 |
| 合规审计 |
“使用中”阶段黑盒难举证 |
全流程可验证链路,实现可审计 |
| 模型资产泄露 |
模型权重可被逆向工程 |
模型在TEE中运行,权重加密加载 |
| 智能体运行 |
数据调用、处理、输出需全链路保护 |
机密计算虚拟机、容器、芯片等形态 |
Token出海面临的安全合规风险
| 风险点 |
描述 |
| 高频跨境调用 |
传统按次审批机制失效 |
| 多落脚点 |
数据在多个模型节点间跳转,处理路径难举证 |
| 二次出境 |
境外监管调取日志触发数据出境合规问题 |
| 多司法管辖区冲突 |
不同地区对数据删除、保留等要求存在差异 |
“来数加工”全链路闭环
- 模式:海外调用 → 离岸数据中心处理 → Token消耗 → 生成数据 → 数据合规传输
- 优势:实现数据与国内隔离,保障数据安全与合规
智能体可信环境三层体系
| 维度 |
原则 |
解决方案 |
| 身份可信 |
消除身份不可见 |
为智能体分配唯一身份,绑定自然人 |
| 权限可信 |
权限过宽 |
授予最小权限,任务结束及时回收 |
| 行为可信 |
数据外发不可控 |
在沙箱环境中进行数据调用与处理 |
零信任理念在智能体协同中的应用
| 原则 |
传统应用 |
智能体协同 |
| 永不信任,始终验证 |
会话级 |
每次工具调用级 |
| 假设失陷 |
系统级 |
智能体行为级 |
| 最小权限到最小代理 |
用户级 |
操作级 |
总结
人工智能时代,数据安全面临前所未有的挑战,需从制度、技术、环境等多维度构建系统性策略。八大趋势涵盖数据产权、责任划分、机密计算、模数共振、可信数据空间、Token出海、智能体可信环境与零信任架构,为数据安全治理提供了全面的指导框架。