2023大模型可信赖研究报告-商汤科技_中国信通院_48页_2mb

大模型可信赖研究报告（2023年）由上海商汤智能科技与工信部中国信息通信研究院联合发布，旨在探讨大模型技术发展带来的风险与治理路径。报告指出，大模型在推动科技革命和产业应用的同时，面临安全漏洞、数据隐私、模型脆弱性和生成内容不可控等多重风险，需通过技术、管理及监管协同治理。

一、大模型发展现状

1. 技术驱动：大模型通过数据、算法和算力突破，成为产业应用核心工具，其通用智能体、多模态能力及智能体升级推动新一轮科技与产业变革。
2. 产业融合：大模型与能源、金融、教育等领域深度融合，加速智能化转型。2023年，国内大模型市场迅速发展，技术生态逐步完善，开源模型（如InternLM-7B）和智能体技术降低应用门槛。

二、大模型风险分析

1. 框架风险：深度学习框架存在软件漏洞及运行环境稳定性不足问题，易受物理攻击、网络攻击、数据篡改等威胁。
2. 数据风险：训练数据易含隐私、偏见、有害内容，缺乏来源可追溯性，且存在投毒攻击风险。
3. 模型风险：提示词攻击（如目标劫持、越狱攻击）和“幻觉”现象（生成虚假、不准确或违规内容）成为关键问题，影响模型安全性与公平性。
4. 生成内容风险：内容安全性和可追溯性不足，导致虚假信息扩散、侵权风险及责任归属困难。

三、大模型可信赖实践

1. 框架层面：通过漏洞管理、可信执行环境（TEE）及运行隔离技术保障系统安全，如商汤SenseTrust采用加密模块及沙箱技术。
2. 数据层面：引入数据脱敏、去毒工具及安全沙箱，确保数据合规性与安全性，同时通过分类统计和向量聚类优化数据质量。
3. 模型层面：实施全流程防控，包括安全与伦理设计评估、思维链技术提升逻辑推理能力、人类反馈强化学习（RLHF）实现价值观对齐及数字水印技术强化内容追溯。
4. 生成内容层面：结合机器审核与人工复审过滤有害内容，并利用数字水印、红队测试等手段增强内容安全性与可问责性。

四、总结与展望

1. 现状与挑战：大模型治理需兼顾技术多样性与风险管控，当前风险聚焦数据质量、提示攻击及生成内容真实性，亟需多方协同形成共识。
2. 技术方向：强化可解释性研究，探索自动化对齐系统；完善测评标准，构建权威工具与平台。
3. 治理路径：推动分类分级监管，结合沙箱、MLOps等技术实现体系化治理，提升社会信任度与产业生态安全性。

附录案例显示，企业已通过可信AI基础设施（如商汤SenseTrust）、安全检测平台（如蚂蚁蚁鉴20）、全生命周期治理（如阿里生成式AI方案）及安全风控体系（如百度方案）等措施，逐步落地可信赖实践。报告强调需持续完善技术手段与标准体系，以应对大模型发展带来的复杂风险。