2024-05-20-数世咨询-LLM驱动数字安全2024-AI安全系列报告_45页_12mb

报告摘要

LLM驱动数字安全报告总结

核心内容

本报告聚焦于LLM（Large Language Model）在数字安全领域的应用，分析了LLM如何通过其新兴能力提升数字安全的效率与效果。LLM不仅改变了安全运营方式，还提升了威胁检测、溯源分析、知识科普等多方面的安全能力。同时，报告也指出了当前LLM在安全领域的应用仍面临诸多挑战，如技术成熟度、数据可用性、算力资源等。

主要观点

LLM在数字安全中的应用潜力巨大：LLM的交互性、可解释性和推理能力显著提升了安全运营的效率和体验。
LLM的应用主要集中在安全运营效率、攻防对抗智能化、威胁狩猎深度化、安全知识科普化和专项能力赋能。
安全大模型主要解决“人”的问题，聚焦于学习经验和模仿思维，尚未出现颠覆性的技术突破。
高投入服务于高价值：LLM在安全场景中的应用需要较大的资源投入，但其带来的效益显著，适用于“大模型+小模型”的组合方式，即“安全调度官”。
安全大模型的发展受制于算力资源：我国安全大模型的发展短期内受限于算力资源紧张，长期则依赖于安全法治、AI基础研究和科技治理。

关键信息

安全大模型的定义：安全大模型是LLM在数字安全领域的应用，具备专业能力、法律适应性和扩展能力。
安全大模型的构成：由基础能力（通用模型）、专业能力（安全知识）和扩展能力（辅助工具和可视化）组成。
安全大模型的规模：目前主要集中在7至15B、30至40B、60至70B三个区间，根据不同的安全场景匹配不同规模的模型。
安全大模型的挑战：
- 应用成熟度：安全领域的应用技术尚未完全成熟，存在技术和成本挑战。
- 数据可用性：直接适用于大模型训练的数据比例较小，需要大量人力进行数据优化和清洗。
- 算力资源：训练大模型需要巨大的算力资源，而当前GPU资源受限，导致训练成本显著提高。
- 价值观偏见：大模型可能放大或曲解训练样本中的偏见，需要确保生成内容合法合规且符合主流价值观。
- 数据安全与隐私保护：需要在保证训练效果的同时确保数据安全性和隐私保护。
- 模型安全：需要防御恶意数据对模型可靠性和稳定性的威胁，提高模型鲁棒性，防止对抗样本导致的错误输出，有效检测和防范后门攻击。
用户认知：部分用户对大模型技术存在误解，有的神化其能力，有的则低估其潜力。
产品结合：安全大模型需要与现有安全产品深度结合，但用户对购买新产品的驱动力不足。
AI工程化能力：用户需要具备一定的AI工程化能力，尤其是在增量训练或微调方面。
私有数据和网络环境限制：企业私有数据和网络环境限制导致无法在外网训练私有数据，且难以接受SaaS化部署方案。
算力成本：算力资源昂贵，增加了企业的成本负担。
法规与合规性：遵守各国、各行业对人工智能的法规与合规要求，保护用户隐私和数据安全。
第三方权威机构：缺少大模型领域的第三方测评机构和标准，缺乏具有公信力和号召力的联盟组织统筹行业标准、规范。

主要供应商

SANGFOR 深信服科技：采用“XDR+GPT”双擎，构建“3+1+1”安全运营体系，实现安全事件的智能化处理。
天融信TOPSEC：具备安全大模型的研发和应用能力，推动安全运营的智能化和自动化。
微步在线：专注于威胁情报的融合分析，是首家通过网信办备案的公开安全大模型。
云起无垠：在模糊测试方面具备应用能力，是首家中国开源安全大模型。
其他供应商：包括吉大正元、海云安、美亚柏科、墨云科技等，各具特色，专注于不同的安全场景。

市场现状

市场阶段：安全大模型在我国仍处于初期市场阶段，用户数量和应用场景有限。
市场营收：2024年，安全大模型及相关产品的市场规模预估可达5.85亿元人民币。
行业分布：运营商、监管机构和金融行业是安全大模型接受度最高的三个行业。
区域分布：华北地区以40.6%的绝对优势占据首位，华南和华东分别为第二和第三。

创新与实践案例

奇安信安全大模型赋能北京银行：通过QAX-GPT安全机器人提升告警处理效率，实现安全运营的智能化和自动化。
360安全大模型赋能金融企业：构建智能体框架，实现对安全告警的自动化处理和智能分析。
深信服安全大模型赋能政府行业：通过安全GPT实现高级威胁检测和全天候安全值守，提升安全运营效率。

趋势与挑战

发展趋势：
- 能力提升：随着LLM算法和预训练数据的不断提升，安全大模型的推理和理解能力也将持续增强。
- 能力重塑：越来越多的安全场景将被赋予LLM的能力，安全运营的逻辑和实际操作将发生颠覆性变化。
- 安全AGI：未来安全大模型将具备解决多场景关联性问题的能力，并支持多模态的输入和输出。
挑战：
- 高可靠性：安全大模型的输出需保证高准确率，防止幻觉导致的安全风险。
- 可解释性：需要确保模型的透明性，使AI产生的流程和决策更容易被人类理解和接受。
- 评估标准：需要制定符合安全大模型特性的评估标准，包括安全基础评估和安全任务评估。