大数据安全架构设计方案_27页_7mb

大数据安全架构设计方案总结

核心内容概述

本文档围绕大数据安全架构设计方案展开，重点介绍了数据中台的过去、现在与未来，以及大数据安全相关的技术架构、安全能力、数据管理流程和应用场景。整体结构包括核心技术、大数据安全的终局、安全运行架构、平台应用架构、平台安全能力、大数据平台组件、数据管理、平台能力架构、核心架构、Use Case示例和能力外溢等内容。

主要观点

1. 大数据安全架构的演进

• 数据中台从过去的基础数据管理逐步演进为当前的综合安全平台，未来将更注重实战攻防与威胁情报的融合。
• 通过整合安全产品、服务与数据，构建三位一体的安全中台，为安全运营、攻防和数据安全等提供平台级支撑。

2. 大数据安全技术架构

• 数据接入：采用Kafka、Flume、Sqoop等工具，实现流式和批量数据的采集与传输。
• 数据存储：支持多种存储类型，包括关系型数据库、HDFS、Hive、HBase、ElasticSearch、图数据库等。
• 数据计算：涵盖MapReduce、Flink、Spark、YARN等组件，实现分布式计算与资源调度。
• 数据分析与可视化：基于BigSQL、BigPlorer等工具，支持非结构化、半结构化数据的处理与可视化展示。
• 安全运行框架：具备可扩展性、高可用性和高性能，支持安全业务的快速开发与部署。

3. 安全能力体系

• 基础架构安全能力：包括资产识别、漏洞识别、日志识别、威胁检测等。
• 纵深防御能力：涵盖网络威胁发现、威胁告警、威胁情报、关联分析、APT攻击发现等。
• 积极防御能力：如攻击链分析、失陷分析、威胁猎杀、内部风险发现等。
• 安全运营流程：包括态势感知、安全事件响应、自动化编排响应、人工分析等流程。

关键信息

1. 数据处理流程

• 数据处理流程包括输入、解码、富化、过滤、筛选、输出等步骤。
• 支持多种数据格式处理，如JSON、Msgpack、CSV、正则等。
• 包含第三方插件，用于数据富化、格式转换等。

2. 数据管理

• 数据管理涉及数据接入、治理、存储、计算、分析与可视化。
• ETL操作平台支持49种设备类型、179种设备型号、510种日志类型的标准化处理。

3. 平台应用架构

• 安全应用平台：提供资产、告警、事件、情报、检索等核心应用。
• 安全大数据平台：基于安全数据模型，提供数据接入、治理和工具集。
• 安全运行框架：支持扩展、高可用、高性能和安全性的服务运行框架。

4. 安全能力

• 威胁检测：对内、外部威胁进行检测。
• 威胁分析：对告警和事件进行分析，并支持场景化分析。
• 风险评分和优先排序：对资产、单位、行业、区域、攻击者等进行评分。
• 威胁响应：实现不同层级的威胁响应，包括高位和低位对象联动。

5. 大数据平台组件

• 包括数据接入、存储、计算、分析、可视化、运维管理等模块。
• 开源组件如Kafka、Flume、HDFS、Hive、ElasticSearch、Spark等。

数据资源管理平台

• 建模平台功能架构：涵盖数据、组件、模型、数据资产、模型超市、业务场景等模块。
• 数据价值释放：支持内生数据资源快速生产，实现数据价值的快速释放。

Use Case示例

• “永恒之蓝”勒索病毒攻击：
  • 通过DNS解析日志、Windows系统日志和TCP流量日志发现攻击行为。
  • 利用序列分析识别事件顺序，判断主机是否被感染并试图扩散。

能力外溢

1. 地市级态势感知

• 包含知识库、可视化、数据治理、平台运营、系统管理、设备运维等子系统。
• 提供业务管理、指挥决策、安全分析、资产管理、数据治理与融合等能力。

2. 工业互联网安全保障平台

• 支持异构多源数据接入与治理，应对无限扩展场景。
• 内置全套安全分析引擎和专业建模引擎，应对复杂安全事件和未知威胁。
• 提供威胁情报平台，赋能全局威胁能力。

总结

本设计方案围绕大数据安全架构，构建了一个集安全开发运行框架、安全大数据平台、安全分析应用平台于一体的三位一体安全中台。通过整合安全产品、服务与数据，实现了对大数据安全的全面支撑，包括资产识别、威胁检测、威胁分析、风险评分、威胁响应、数据治理与可视化等能力。同时，支持流式数据接入、多类型数据存储、分布式计算与资源调度，为未来安全运营、攻防、数据安全等提供灵活、可扩展的平台基础。