2024年政务大模型安全治理框架报告-奇安信_25页_2mb

奇安信集团发布的《政务大模型安全治理框架》报告指出，政务大模型作为推动数字政府智能化的关键技术，其应用广泛涉及公共服务、政务办公及城市治理等领域，但伴随数据安全、模型合规等多重风险。报告系统梳理了七大安全风险类型：数据安全风险（违规收集、泄露、勒索、标注规则及质量缺陷）、训练语料安全风险（数据投毒、内容违规）、大模型使用安全风险（未备案基础模型、生成不当内容、模型泄露与篡改）、应用安全风险（代码漏洞、Web/API攻击）、软件供应链安全风险（开源组件漏洞、恶意代码、供应商管理不善）、生成内容风险（违反价值观、侵犯知识产权、隐私泄露、歧视内容）及模型自身风险（提示注入攻击、拒绝服务攻击、后门植入）。

为保障政务大模型安全合规运行，报告提出需构建三层治理框架：合规要求、安全机制与技术保障。合规是首要原则，需遵循《网络安全法》《数据安全法》《个人信息保护法》及《生成式人工智能服务管理暂行办法》等法规。安全机制包括组织建设（统筹、业务、支撑、监管四方协同）、制度与规范（分类分级管理、全流程安全管控）以及测试评估（数据集安全审查、生成内容测评、模型及应用安全测试）。技术保障覆盖基础安全（纵深防御、身份授权）、数据安全（分类分级、敏感内容过滤）、模型安全（训练防护、资产加密存储、安全登记与分类管理）及运行安全（访问控制、实时监测、应急响应）。

风险控制关键举措包括：

1. 分类分级管控：根据模型用途与影响力划分风险等级，实施差异化的安全措施。
2. 安全测试与评估：涵盖事前、事中、事后全流程，要求第三方机构参与测评并提交合规材料。
3. 内容风险过滤：建立自动化与人工结合的审核体系，部署敏感词过滤、上下文分析等技术。
4. 数据安全保护：采用加密、脱敏、隐私计算等手段，结合区块链提升数据透明性与管理可控性。
5. 监管沙盒机制：通过隔离网络环境、动态监控数据流动，防范非法访问与数据滥用。

报告强调，政务大模型需多方协作形成安全生态，政府、企业、研究机构及监管机构共同参与，确保技术可靠、运行有序。未来，随着大模型技术演进及监管细化，行业标准将逐步完善，安全服务产品（如伦理审核、内容过滤、模型保护工具）将更趋成熟，助力数字政府建设。