2023-09-29-阿里云-2023阿里云ClickHouse_企业版技术白皮书_31页_8mb

报告摘要

阿里云 ClickHouse 企业版技术白皮书总结

核心内容

阿里云 ClickHouse 企业版是基于开源 ClickHouse 的云原生版本，采用全新的架构和表引擎，以应对大规模数据处理和云环境下的高可用性、弹性扩展需求。其核心在于引入了 SharedMergeTree 表引擎和 Lightweight Update 功能，以提升性能和实时性。

主要观点

1. 云原生架构

企业版采用 存储与计算分离 的架构，所有数据存储在对象存储中，计算节点可以访问相同的共享数据。
计算节点为 无状态节点，可灵活进行 垂直扩缩容 和 水平扩展，无需进行数据搬迁或重新分片。

2. SharedMergeTree 引擎

SharedMergeTree 是 ClickHouse 企业版中唯一的商业化表引擎，是 ReplicatedMergeTree 的高效替代。
它支持 自动扩展、高可用性 和 多层缓存，提升数据读写效率。
元数据集中存储在 Keeper，保证了数据一致性，同时避免了 ReplicatedMergeTree 的物理复制问题。

3. Lightweight Update 功能

该功能使数据更新操作 实时可见，且 执行成本更低。
更新操作在 后台异步物化，而查询时可立即看到更新结果，无需等待。
用户无需手动批处理更新，提升了易用性和效率。

4. 性能优势

SharedMergeTree 支持 线性扩展，增加节点数不会导致性能下降。
后台合并吞吐量 随节点数量增加而提升，从而加快查询速度。
与 ReplicatedMergeTree 相比，SharedMergeTree 在高并发写入场景下表现更优，尤其是在节点数量较多时。

5. 兼容性

SharedMergeTree 作为默认表引擎，支持所有 MergeTree 家族的表引擎。
当用户创建 ReplacingMergeTree 等表时，企业版会自动转换为 SharedReplacingMergeTree。
当前 SharedMergeTree 不支持 ReplicatedMergeTree 的某些高级功能（如异步插入去重、静态加密），但未来会逐步实现。

关键信息

1. 企业版优势

无缝集群扩展：支持节点数量和规格的灵活调整，无需数据迁移。
高效数据存储：使用对象存储实现数据高可用和容错。
轻量级更新：提升数据更新的实时性和执行效率。
强一致性查询：通过 Keeper 获取元数据，确保所有节点查询结果一致。
高性能吞吐：支持线性扩展，吞吐量随节点数增加而提升。

2. 基准测试结果

3 个节点：两种引擎性能相近。
10 个节点：SharedMergeTree 的合并效率显著高于 ReplicatedMergeTree。
20 个节点：ReplicatedMergeTree 的活动 Parts 数量远高于 SharedMergeTree，且合并时间更长。
80 个节点：SharedMergeTree 在 67 秒内完成 260 亿行数据插入，平均速度为 3.88 亿行/秒。

3. Lightweight Update 实现原理

更新操作被异步添加到队列中，通过 on-the-fly 机制在查询时实时应用。
更新表达式保存在内存中，直到后台合并完成。
查询性能在更新未物化时略有下降，但随着后台合并完成，性能迅速恢复。

4. 未来计划

Lightweight Update 机制将逐步优化，以进一步提升性能并消除当前限制。
SharedMergeTree 将支持更多高级功能，如 时间点恢复、更高的数据一致性 和 更好的存储耐久性。

结构特点

1. 表引擎对比

特性	ReplicatedMergeTree	SharedMergeTree
数据复制	需要显式复制数据到多个节点	数据存储在共享对象存储，无需复制
集群扩展	依赖分片和副本，扩展复杂	支持无缝水平和垂直扩展
更新实时性	低	高
吞吐量	随节点数增加非线性	吞吐量随节点数线性提升
元数据管理	分布式存储在多个节点	集中存储在 Keeper

2. 企业版收益

提升插入和查询性能：通过 SharedMergeTree 实现高效的合并和查询。
支持实时更新：Lightweight Update 提供更快的数据更新响应。
简化集群管理：无需数据搬迁或重新分片，提升运维效率。

结论

阿里云 ClickHouse 企业版通过引入 SharedMergeTree 和 Lightweight Update，显著提升了云原生环境下的数据处理能力。它不仅解决了传统架构中的扩展性和一致性问题，还通过高效的合并机制和轻量级更新，为用户提供了更强大的 OLAP 分析能力。目前企业版已开启邀测，欢迎申请体验其性能优势。