【飞轮科技】2024年SelectDB日志存储与分析解决方案白皮书1.0_92页_53mb

报告摘要

SelectDB 新一代日志存储与分析解决方案总结

核心内容

SelectDB 是基于 Apache Doris 构建的现代化数据仓库，专为日志存储与分析场景设计，提供高性能、低成本、统一的解决方案。它通过引入倒排索引、Variant 数据类型、冷热数据分层等技术，解决了日志数据存储与分析中的关键问题。

主要观点

日志存储与分析的挑战：
- 数据量大，存储成本高
- 高吞吐实时写入需求
- 实时文本检索的性能要求
- Flexible Schema 的支持需求
现有解决方案的局限性：
- Elasticsearch + 数据湖混合架构虽然能应对部分挑战，但存在使用成本高、实时分析能力弱、生态封闭等问题
SelectDB 的优势：
- 支持高吞吐、低延迟日志写入
- 提供高性能、低成本的统一日志存储与分析
- 支持标准 SQL 查询，生态开放
- 强大的分析能力，包括多表 JOIN、子查询、聚合分析等
- 支持 Flexible Schema，特别是通过 Variant 数据类型处理半结构化日志
性能对比：
- 写入速度是 Elasticsearch 的 5 倍
- 存储空间节省 80%
- 查询性能是 Elasticsearch 的 2.3 倍
- 与 ClickHouse 相比，SelectDB 在聚合查询和全文检索方面表现更优

关键信息

性能优势

高吞吐、低延迟写入：支持每天百 TB 级、GB/s 级日志数据持续稳定写入，延迟保持在 1s 以内
高性能全文检索：支持倒排索引和全文检索，实现秒级响应
低成本存储：支持 PB 级海量数据存储，存储成本仅为 Elasticsearch 的 20%
冷热数据分离：支持将冷数据存储到 S3/HDFS 等低成本存储介质，冷数据存储成本可降低 70%

分析能力

支持标准 SQL：用户可使用 SQL 进行日志分析，便于使用和维护
支持多表 JOIN、子查询、UDF 等复杂分析操作：满足企业日益复杂的日志分析需求
支持全文检索和短语查询：提升日志检索的准确性和效率

Flexible Schema 支持

Variant 数据类型：支持任意 JSON 数据，自动识别字段名和类型
自动拆分频繁字段进行列式存储：提升存储和分析效率
自动处理类型冲突：适应日志数据的迭代变化

用户使用手册

资源评估

写入资源评估：需求写入总吞吐 / 单核写入吞吐 = 需要的 CPU 核数
存储资源评估：日增数据量 * 存储天数 / 压缩率 = 需要的存储空间
查询资源评估：建议预留 50% 的资源给查询
资源汇总整合：根据 CPU 核数和存储需求估算 BE 服务器数量和单盘存储容量

集群部署

从官方地址下载 SelectDB 安装包
使用 Cluster Manager 可视化部署集群

针对日志场景的配置优化

FE 配置：调整事务数、标签保留时间、分桶策略等
BE 配置：优化存储路径、文件缓存、线程池、压缩算法等

建表

分区和排序：使用时间字段进行 RANGE 分区和 DATETIME 类型排序
分桶：分桶个数大致是集群磁盘总数的 3 倍，使用 RANDOM 策略
Compaction：使用 time_series compaction 策略减少写放大
索引：对经常查询的字段建索引，指定分词器和短语查询支持
存储：配置冷热分离策略，将冷数据存储到 S3/HDFS

日志采集

Logstash：通过 HTTP API 对接，配置输入输出和字段映射
Filebeat：配置输入输出和字段解析，支持跨行日志拼接
Kafka：创建 Routine Load，从 Kafka 主动拉取数据
Flink：使用 Flink-Doris 连接器进行数据采集
自定义程序：通过 HTTP Stream Load 接口导入数据

典型用户案例

观测云案例

背景：观测云是上海观测未来信息技术有限公司的自研产品，提供统一的可观测性平台
挑战：
- 存储成本高
- 查询性能差
- 支持 Flexible Schema 和多业务场景
解决方案：
- 引入 SelectDB 替代 Elasticsearch
- 使用倒排索引、Variant 数据类型、冷热分层等特性
成果：
- 存储成本降低 70%
- 查询性能提升 2-4 倍
- 整体性价比提升 10 倍

技术优势

高性能存储和查询引擎：采用 MPP 架构、向量化执行引擎、CBO 优化器等
倒排索引：实现文本检索性能提升 40 倍
Variant 数据类型：支持灵活的半结构化日志，提升存储和分析效率
冷热分层：支持将冷数据存储到对象存储，降低长期存储成本
开放生态：支持与 Logstash、Filebeat、Kafka、BI 工具等生态集成

总结

SelectDB 通过其高性能、低成本、统一日志存储与分析平台，为企业提供了强大的日志处理能力。相比 Elasticsearch 和 ClickHouse，SelectDB 在存储成本、写入性能、查询性能和分析能力等方面具有显著优势。其 Flexible Schema 支持和丰富的索引类型，使得日志分析更加灵活和高效。此外，SelectDB 的开放生态和易用性，使其成为构建日志存储与分析平台的理想选择。

展开完整摘要