cassandra 存储原理

最新推荐文章于 2025-07-16 08:37:57 发布

原创

最新推荐文章于 2025-07-16 08:37:57 发布 · 1.9k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#cassandra #数据库 #分布式

本文详细介绍了Cassandra的存储原理，包括数据一致性维护的4种技术：逆熵、读修复、提示移交和分布式删除。此外，还讨论了Cassandra的节点分配、存储机制、一致性水平、写入与查询流程、以及数据删除和SSTable压缩的过程，深入理解Cassandra的数据管理和操作机制。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

参考：http://my.oschina.net/jsycwangwei/blog/420257
1 Cassandra 通过4个技术来维护数据的最终一致性，分别为逆熵（Anti-Entropy），读修复（Read Repair），提示移交（Hinted Handoff）和分布式删除。
逆熵：节点间定期检查数据一致性，使用markle tree，markle tree是hash树，叶节点是key的hash值，父节点是所有子节点值的hash值，只要root节点相同，则说明所有叶子节点相同
读修复：客户端读取某条数据时会返回数据并后台同步各节点数据保证一致，根据一致性要求 ONE（先返回一条再同步，可能不一致） QUORUM（读取超过一般副本后再返回） ALL（全部同步后再返回最准确）
提示移交： keyA按照规则应该写入node1，然后复制到node2 node3，加入node1宕机，会封装一个带有hint的头部写入node4 然后复制给node2 node3，node1上线后会自动写入node1
分布式删除：删除时只对目标数据打一个删除标记的hint，定期对标记此hint的对象垃圾回收
2 cassandra每个节点分配多个token（从生产查询到 nodetool -host ip ring),通过一致性hash把数据分配到不同的token上
3 存储机制：借鉴bigtalbe设计，hbase和cassandra都是先记录日志 commit log，然后写入列族对应的内存Memtable，数据量达到块大小时写入SStable，因为内存中数据是按照key排序好的，所以cassandra只有顺序写入，没有随机写入，降低了对存储系统压力
4 num_tokens 每个节点上的虚拟节点（即在hash环中一个物理主机对应多个虚拟节点）个数，为了一致性hash时更加平衡
5 Consistency Level 是客户端连接数据库时的配置
replicationFactor 写入数据时的副本个数
以上配置一般是在java客户端程序的配置文件中
6 客户端连接数据库时只要根据配置连上一台就停止连接，因为每台主机都存储集群所有节点的元