小红书万亿级+KV+系统存储实践_35页_9mb

报告摘要

系统架构：
- 采用多节点分布式架构，包含KVClient、KVProxy、KVServer及Replicator模块。
- 数据分片策略：槽位（slot）范围1~100，分为Region1和Region2，Region2槽位50~100需额外复制（Replicator）。
- 节点类型：主节点（Master）与从节点（Slave），主节点负责协调与数据分发，从节点处理具体存储与计算任务。
数据存储与一致性：
- 支持NoSQL存储，包含键值对（KV）、哈希表（Hash）、有序集合（Zset）等数据结构。
- 使用Gossip协议进行节点间通信，时效性控制为30秒至7秒（node_timeout/2），确保数据同步效率。
- 数据一致性保障：通过PING检测节点状态，若超时则触发PFAIL（疑似故障）或FAIL（最终故障）机制，实现冗余读取与自动转移。
复制与故障转移：
- Replicator模块负责数据复制，支持WAL（写前日志）与快照（snapshot）同步。
- 故障转移依据心跳检测结果（PING）执行，节点故障时通过PFAIL机制触发备用读取，并在确认后执行FAIL状态切换。
- 控制并发：通过backup-read参数限制并发读取数量，提升系统稳定性。

RocksDB集成：
- 使用合并操作符（mergeOperator）管理键值数据，支持版本控制（version）与TTL（生存时间）。
- 数据分片（slot）对应不同的RocksDB实例，例如slot 1~100分配给KVServer，slot 50~100需额外复制。
- 压缩过滤器（Compaction Filter）与合并操作符协同，优化数据存储效率。
数据同步与处理：
- 数据同步机制：通过binlog与快照（snapshot）实现多节点数据一致性。
- 写操作处理：使用WAL保证写入顺序，主节点通过epoll监听I/O事件，提升响应效率。
- 读操作策略：超时后自动发送第二个读请求，支持负载均衡与容错。
性能优化：
- 多线程处理：通过MPSC（多生产者单消费者）模式控制请求队列，减少资源竞争。
- 时间戳管理：将键（Key）与时间戳绑定，确保数据版本一致性。
- 配置参数：如node_timeout（节点超时时间）、slot范围（1~100）、并发控制（backup-read）等，影响系统稳定性与性能。

与HBase对比：
- HBase基于RowKey，而RedKV支持更灵活的键值结构（Hash、Zset）。
- 两者均采用分片策略，但RedKV通过Gossip协议实现动态同步，HBase依赖ZooKeeper。
与Redis对比：
- Redis支持内存数据库功能（如Hash、Zset），而RedKV结合持久化与分片，适用于大规模数据场景。
- 故障转移机制不同：Redis通过主从切换，RedKV基于PFAIL/FAIL状态检测与自动转移。

键值映射：
- 键（Key）与时间戳绑定，形成Key:Timestamp的逻辑结构。
- 值（Value）通过版本控制（version）实现数据更新，含TTL标记确保数据时效性。
数据压缩与存储：
- 使用SST（Sorted String Table）文件存储数据，分片数据（slot）划分为L0-L1层级，层级间通过Compaction合并优化。
- 区分数据列族（Data Column Family）与索引列族（Index Column Family），提升查询效率。

模块化架构：
- 明确区分Client、Proxy、Server等模块，支持灵活扩展。
- 通过Gossip协议实现节点间状态同步，降低依赖集中性。
高可用性：
- 冗余读取机制：支持多次读请求（如3次读取）以应对节点故障。
- 自动故障转移：在节点失效时快速切换至备用节点，减少服务中断。
可配置性：
- 参数化设置：如slot分布、超时时间、并发数量等，适应不同业务需求。
- 支持多种存储后端（如RocksDB、HBase），实现技术选型灵活性。