可信人工智能治理调研报告（2024-2025）-ISACA_40页_16mb

可信人工智能治理调研报告（2024-2025）总结

核心内容

本报告围绕可信人工智能治理展开，深入分析了全球及中国在该领域的现状、挑战与未来发展方向。报告指出，尽管人工智能已在多个行业得到应用，但大多数企业仍处于技术规划阶段，治理能力与技术投入之间缺乏显著正相关。可信人工智能治理是确保技术安全、可靠、可控的关键路径，涉及公平性、透明性、可解释性、安全性等核心要素。

主要观点

• 人工智能治理框架多元化：各国基于自身国情和战略发展，形成了各具特色的治理模式，如欧盟以风险为导向，美国以市场驱动和行业自律为主，中国则强调发展与安全并重。
• 伦理治理关注度不足：仅有24.2%的企业在选择人工智能模型时考虑伦理问题，表明伦理治理在当前仍处于次要地位，未来需加强。
• 治理水平与投入无明显正相关：尽管部分企业投入巨大，但治理框架的建立和实施仍滞后，需加快治理体系建设。
• 跨部门协作不足：仅41%的受访者了解公司人工智能业务环境，表明企业内部协作机制尚不完善，治理需全员参与。
• 技术与伦理需平衡发展：企业在技术应用中更关注短期效益，未来需在伦理与技术之间找到平衡，确保可持续发展。
• 行业实践差异显著：互联网、医疗、智能制造和金融等行业在治理策略、挑战与应对措施上各具特点，需根据行业特性制定治理方案。

关键信息

企业人工智能应用现状

• 应用阶段：39.7%的企业处于技术规划阶段，仅21.8%已开始部署，进入后期评估与维护的较少。
• 应用场景：主要集中在客户服务和经营管理，未来将扩展至研发设计与生产制造。
• 技术方式：多数企业依赖外部产品，仅13%完全自建大模型。
• 模型使用情况：OpenAI系列模型使用最多，国内模型如文心一言、通义千问也有一定应用。
• 投入情况：45%的企业投入不足100万元，15%投入超过2000万元，整体投入呈现两极分化。
• 投入满足度：69%的企业认为当前投入基本满足需求，26%认为无法满足，5%认为投入超出需求。
• 业务改进效果：51%的企业认为效果一般，仅11%认为非常显著。

企业面临的主要风险与挑战

• 技术融合问题：算法复杂、业务流程集成性低。
• 数据安全问题：隐私保护、数据可靠性、数据可用性与隐私的平衡。
• 算法合规性问题：算法对抗性攻击、可解释性、知识产权等。
• 伦理问题：公平性、透明性、责任归属等。
• 模型偏见：16%的企业面临算法偏见或歧视风险，金融行业投诉率最高。

行业治理实践

未来展望

• 治理责任明确：需多方协作，技术团队为主导，管理层、法律合规团队、全体员工共同参与。
• 制定统一治理框架：结合国际标准与本地法规，推动行业标准化，如制定行业特定的DTEF实施指南。
• 推动伦理治理：建立伦理审核机制，引入伦理委员会，确保算法公平性与透明性。
• 加强数据管理：制定数据全生命周期管理规范，提升数据质量与隐私保护能力。
• 提升治理自动化：引入人工智能辅助治理工具，实现模型偏见、隐私风险、系统漏洞的自动检测与建议。
• 建立评估与认证机制：制定可信人工智能治理成熟度模型，提供第三方认证，提升治理可信度。

治理框架与工具

• DTEF（数字信任生态系统框架）：由ISACA提出，涵盖人员、流程、技术、组织四个核心节点，以及文化、人为因素、架构、指导与监控、赋能与支持、涌现六个领域，适用于企业整体治理。
• ISO/IEC 42001-2023：提供人工智能管理体系标准，帮助组织管理人工智能风险。
• NIST AI RMF：为人工智能风险管理提供指导，强调自愿性与灵活性。

行业趋势与建议

• 本土化趋势明显：41%的企业因海外工具受限而选择本土化方案，反映出地缘政治对技术应用的影响。
• 伦理治理需提升：随着技术发展，伦理问题将愈发重要，企业应主动融入伦理考量。
• 数据安全仍是核心难题：27%的企业最关注数据安全，31%关注数据可用性与隐私的平衡。
• 治理框架需动态更新：适应新兴技术，如生成式人工智能、边缘计算等，引入动态风险评估模块。
• 加强员工培训：通过分层次培训提升员工对人工智能治理的理解与参与，推动治理落地。

结论

可信人工智能治理是技术创新与社会责任的结合。企业需构建系统性治理框架，推动跨部门协作，加强伦理与安全治理，以实现人工智能技术的安全、高效与可持续发展。未来，行业需进一步推动标准化建设，提升治理能力，同时加强国际合作，共同应对人工智能带来的挑战与机遇。