Cassandra 源码解析 3: 分布式hashtable(DHT) 和 Locator

No1.搭建基本的密码模式请求token(授权服务端) 首先,暂时不搭建cloud相关的环境,暂时不会使用到数据库和redis等库,用户信息、客户端信息、授权信息等都存储在内存中,只编写跟密码模式相关的代码(此处的密码模式是按照自定义代码编写)仅作为最基础的授权认证服务端。 阅读详情

原理

分布式的存储,使用多台主机作为存储机器。存放/读取[key, value]时,由key选择目标机器,即使用key值将存储的对象分散在不同的机器上. 散列最简单的方法是目标主机数取模, 假如有n台机器,依次编号(0, 1, 2, ..., n - 1),给定key值,生成一个int hash value,用hash value%n,根据模值找到对应的机器. 这种取模hash的问题在于,两个节点时%2, 三个节点时%3,大部分key的hash值随着节点的数目变化而变化.

 

cassandra DHT使用的是consistent hash

目的:在增加节点或者减少节点时,避免因为rehash而引起的server 震荡。

实现:将hash value空间固定并形成环形,0~2^32,每个node(主机)生成一个hash值,将node映射到hash空间。给定的key,计算其hash值,沿着hash顺时针找到第一个(或者N个,如果需要N个备份)node即为目标主机(如下图,借图一幅)

 

consistent_hash

 

添加节点:很显然,添加一个节点,hash空间的一小部分被node重新分割,其他区间不受影响,如下图(再借图一幅),只有node5和node2之间的区间从node2 rehash到node5

 

cassandra 实现

节点的hash值生成

如下所示,在server启动时,将node的Token(注,token即为上文所讲的hash值,可以是Integer类型的Token,也可以是String类型,只要可比较大小进行排序即可作为token)放入全局token表中(TokenMetaData,全部token表存储集群中所有节点对应的token值)。node的token首先检查“LocationInfo” table(column family),如果存在则取出,不存在则随机生成一个新的token并存储。这样每个node的token仅仅生成一次.

 

 

随机Token的生成取决于Partition的方法,默认的Partition是RandomPartitioner(注,随机生成很难保证节点均匀切分hash空间,如果有四个节点,均匀分割,则每个节点分配的hash值为(0/2^32, 2^30,  2 * 2^30, 3 * 2^30),其使用GUID来生成一个BigInteger的Token

 

GuidGenerator

 "s_id(host):System.currentTimeMillis:Random.nextLong"

       ->

  md5.hash

       ->

  hex string 

       ->

  GUID Standard Format

       ->

  md5.hash

       ->

  BigInteger

       -> 

  abs

 

 

 

TokenMetadata中维护了全局(所有节点)的token,当节点leave或者add时,更新这个全局表(下一篇中另作分析)

 

给定key值,寻找目标主机

 

很显然,读写操作都首先要确定目标Server,这里给出weak读(从一个主机读到即可)的Sequence Diagram(再借图一幅)

不见上图,简化版:

CassandraSrever.get_slice 

    -> StorageProxy.readProtocol

          -> StorageService.getNaturalEndpoints

          -> .weakReadLocal

          -> .weakReadRemote

               -> StorageService.findSuitableEndPoint

getNaturalEndpoints

寻找natural end points(目标主机hosts,N = 数据备份数目)分两步

  1. 由Partition生成key的token, RandomPartitioner用MD5 hash生成
  2. 由复制策略来找到目标主机, RackUnawareStrategy使用前文所述的consistent hash方法,将所有node的token排序,然后二分查找给定token在序列中的位置,从该位置起,序列中N个token对应的host即为目标主机。(其他的复制策略主要考虑目标主机的物理位置,try to find the host in different rack or data center)

 

findSuitableEndPoint

返回目标主机中(naturalEndPoint)最近的活着的节点

 

 

Java hit

Google collection (另作介绍)

BiMap<Token, InetAddress> tokenToEndPointMap (Token 和 host 为一对一映射)

AbstractIterator, 从(0, n-1)中的某个位置开始,依次遍历所有的数,n-1的下个数是0(ring),回到位置时(全部遍历一次)结束

 

 

判断两台主机的物理位置

 

寻找接近给定主机的hosts

 

 

关于环形(ring)中两个区间相交的判断

 

 

 

Cassandra原理与代码实例讲解 Cassandra原理与代码实例讲解 1.背景介绍 1.1 什么是Cassandra Apache Cassandra是一种开源的分布式NoSQL数据库管理系统,最初由Facebook设计用于存储收件箱数据。它是一个高度可扩展的 阅读详情

相关推荐

cassandra源码分析

NULL 博文链接:https://ggsonic.iteye.com/blog/1555576

Cassandra源代码分析:数据写入流程

org.apache.cassandra.thrift.CassandraServer类的add方法将接受客户端的请求,该函数定义如下: public void add(ByteBuffer key, ColumnParent column_parent, CounterColumn column, ConsistencyLevel consistency_level) ...

omygege 269

Cassandra分布式架构与源代码分析

Cassandra是一个开源的分布式数据库,结合了Dynamo的Key/Value与Bigtable的面向列的特点,本文档对Cassandra源代码作了详细的分析,可以了解整个集群的运作细节。

cassandra源代码总结

1. Org.apache.cassandra.dht包    a.接口RingPosition         public Token getToken();      public boolean isMinimum(IPartitioner partitioner);      这个类是ring环的一个token位置,类中有两个方法getToken()返回token值,另

u010912405的专栏 1992

Cassandra分布式模型与源代码分析

Cassandra是一个混合型的非关系的数据库,类似于Google的BigTable。其主要功能比Dynomite(分布式的Key-Value存储系统)更丰富,但支持度却不如文档存储MongoDB(介于关系数据库和非关系数据库之间的开源产品,是非关系数据库当中功能最丰富,最像关系数据库的。支持的数据结构非常松散,是类似json的bjson格式,因此可以存储比较复杂的数据类型。)Cassandra最初由Facebook开发,后转变成了开源项目。它是一个网络社交云计算方面理想的数据库。以Amazon专有的完全分布式的Dynamo为基础,结合了Google BigTable基于列族(Column Family)的数据模型。P2P去中心化的存储。很多方面都可以称之为Dynamo 2.0。

宝塔面板添加站点及运营商SSL免费证书的申请与使用

本文详细介绍在宝塔面板下如何正确添加站点、配置站点,及在运营商如何申请免费SSL证书,将其配置到宝塔站点里。 给你的网站加一把锁,教你免费SSL证书申请,配置到自己的网站中。 环境:Ubuntu server 18 工具:宝塔控制面板 平台:阿里云 Web服务器:Nginx 宝塔:https://www.bt.cn/ 阿里云:https://www.aliyun.com/ 腾讯云:https://cloud.tencent.com/ 要求: 1.宝塔控制面板搭建完毕。 2掌握域名解析的原理。 3.了解ht

贺兰山长老 5060

Cassandra源码解析

你好,朋友,很高兴能和你一起分享我对Cassandra源码的研究和分析成果,虽然分析不能面面俱到,但是以下的文章涵盖了大部分Cassandra的核心内容,展示了主要的工作逻辑和关键代码。这里我将假定您对Cassandra已经有了基础的了解,假如您对它还一无所知,建议您可以先到Cassandra官网上简单了解一下Cassandra是什么,有什么用途以及NoSQL相比传统的数据库如MySQL,Oracl

司徒剑南的博客 7045

LangChain Agent Skills 实战指南:12个案例玩转智能体技能封装与编排

大语言模型应用开发中,智能体(Agent)的能力扩展正从零散的函数调用走向标准化封装。Agent Skills 将某项具体能力组织为带说明、代码与依赖的技能目录,让模型能自动发现和调度,其核心价值在于解决工具数量膨胀后的维护混乱与调用失控问题。与 Tool 的单一执行、MCP 的协议连接不同,Skill 更强调能力的语义描述与组合复用,配合 LangGraph 的状态编排和 LangSmith 的可观测性,可构建生产级智能体系统。在实际场景中,Agent Skills 可覆盖 RAG 知识库问答、多轮记忆保

weixin_34335458的博客 408

Cassandra 源码解析汇总

<br />Cassandra 源码解析Cassandra 源码解析 1:网络通信Cassandra 源码解析 2: 文件流传输 对象序列化Cassandra 源码解析 3: 分布式hashtable(DHT) 和 LocatorCassandra 源码解析 4: GMS 集群管理Cassandra 源码解析 5: MerkleTreeCassandra 源码解析 6: Storage Engine (DB Layer)<br /> <br /> <br /> <br /> <br /> 

FireCoder的专栏 8246

【IIC通信】Chap.1(I2C)IIC通信原理、IIC读写时序详解

IIC通信以两根连线SDA、SCL实现了完善的全双工同步数据传送, 可以方便地构成多机系统和外围器件扩展系统。

Jie_MSD的博客 2万+

cocos2dx lua + protobuf

vs 2015 cocos2dx 3.10  lua  protobuf1. 下载 protobuf 源码     https://github.com/bnnswyp/protobuf/tree/master/protobuf-2.5.0    解压后的文件列表如下所示         其中 vsprojects 文件夹为 protobuf 的vs 工程2. 打开 protobuf.sln 编译...

u014486706的博客 2164

Cassandra 源码解析 1:网络通信

org.apache.cassandra.thrift -  Server 端入口CassandraDaemon: 启动类CassandraServer implements org.apache.cassandra.thrift.Cassandra.Iface : 接口类,类似于web service中的skeletonCustomTThreadPoolServer extends  org.apache.thrift.server.TServer :监听类,监听thrift client请求

FireCoder的专栏 7204

第3讲:单端传输线的时域TDR仿真(基于实战的第一次仿真视角切换)

本文为CST仿真系列教程的第3讲,主要介绍传输线阻抗(TDR)的两种仿真方法:基于S参数的频域计算和基于高斯脉冲的时域计算。文章详细演示了在CST PCB Studio中修改电容参数、设置TDR仿真参数(包括截止时间和采样点数)的操作步骤,并通过对比实验展示TVS寄生电容对阻抗曲线的影响。最后将两种TDR方法的结果进行对比,验证了两种方法的一致性。本教程适合硬件工程师通过时域波形直观分析传输线阻抗特性,是信号完整性分析的重要技能。

一只豌豆象的博客 230

Cassandra 源码解析 6: Storage Engine (DB Layer)

原理 http://thoss.org.cn/mediawiki/index.php/Cassandra_data_model http://labs.google.com/papers/bigtable.html   cassandra 的存储模型来自google的bigtable。 bigtable data model bigtable 是一个key-value map,其key

FireCoder的专栏 5320

Python爬取小红书种草商品评论数据:从入门到实战全攻略(附反爬+情感分析方案)

Python爬取小红书种草商品评论数据,核心是“抓包找到正确的接口+处理登录验证+合理的反爬策略”。新手不用一开始就追求多笔记批量爬取和情感分析,先把单笔记的评论抓取和存储跑通,再逐步扩展功能。我做的这个系统现在每天帮朋友爬取3-5款美妆产品的评论,自动做情感分析和关键词提取,她再也不用手动翻评论了,效率提升了80%。如果你们在开发中遇到具体问题,比如接口找不到、Cookie过期、IP被封,都可以在评论区留言,我会一一解答。后续也可以出一期小红书笔记种草数据爬取的教程,帮助大家更全面地分析竞品数据。

专注于Python爬虫开发,分享爬虫技巧、项目实战与反爬经验,使用Scrapy、BeautifulSoup等工具,解决数据抓取难题。 1354

osg中显示3dtiles和cesiumIon

如下图为CesiumTilesetNode数据更新相关代码,将OSG对应的ViewMatrix、ProjectionMatrix和窗口信息传递给tileset->updateView()实现Cesium-native的场景更新。整体结构,其中 CesiumTilesetNode依赖Cesium3DTilesSelection::Tileset,实现数据的更新以及确定需要绘制的节点。1.1 CesiumNative3DTileslayer图层。

CPWWHSU的博客 890

Cassandra源代码分析(一)Table和ColumnFamilyStore

Table是Cassandra中表示DB对象的顶级描述,这里的Table实际上是一个古老的名词,合理的意思应该是Keyspace,表示的是数据库级别的描述信息。在每一个放置了 column family 的节点上,具有相同的 cf-name 的 column-family 会被保存在一起,称为一个 column family store (CFS)

张兆坤 4501

【N32L40X】学习笔记12-规则组+注入组+外部触发启动

使用定时器触发规则通道开始采集数据,采集完成后使用dma传输数据,并启动注入通道转换数据,注入通道转换完成后产生中断,中断中读物注入通道数据。

Car12 425

cassandra从原理到实践

1、CREATE KEYSPACE CREATE KEYSPACE eo_cs WITH replication = {'class': 'NetworkTopologyStrategy', 'datacenter1': '3'} AND durable_writes = true; 2、CREATE ROLE 语法: CREATE ROLE [IF NOT EXISTS] role_nam...

q936889811的博客 2673

android 蓝牙通讯demo

android 下蓝牙通讯demo,实现了发现蓝牙,使能蓝牙,通过蓝牙发送消息。

win10 跳过U8环境检测的IE WebControls.rar

win10 安装u8的时候 提示IE WebControls 不通过,这个工具可以欺骗u8的检查。 跳过U8环境检测的IE WebControls。提示导入失败后,重新检测通过。

Apache Cassandra 简介

Apache Cassandra 是一个开源的、分布式、无中心、弹性可扩展、高可用、容错、一致性可调、面向行的数据库,它基于 Amazon Dynamo 的分布式设计和 Google Bigtable 的数据模型,由 Facebook 创建,在一些最流行的网站中得到应用。 为什么会诞生 Apache Cassandra 2007 年 Facebook 为...

weixin_34004750的博客 454

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

CASSANDRA学习笔记 (十一) 集群架构

Cassandra是点对点分布式系统,集群中各节点平等,数据分布于集群中各节点,各节点间每秒交换一次信息。每个节点的commit log捕获写操作来确保数据持久性。数据先被写入memtable-内存中的数据结构,待该结构满后数据被写入SSTable-硬盘中的数据文件。所有的写内容被自动在集群中分区并复制。 Cassandra数据库面向行。授权用户可连接至任意数据中心的任意节点,并通过类似SQL的...

雷雨中的双桅船 1752

Devexpress16.2.6破解工具

Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具

Java GC 调试手记

摘要 本文记录GC调试的一次实验过程和结果。 GC知识要点回顾 问题1:为什么要调试GC参数? 在32核处理器的系统上,10%的GC时间导致75%的吞吐量损失。所以在大型系统上,调试GC是以小博大的不错选择。'small improvements in reducing such a bottleneck can produce large gains in performance.'

FireCoder的专栏 3万+
上一篇: Cassandra 源码解析 2: 文件流传输 对象序列化
下一篇: Cassandra 源码解析 4: GMS 集群管理
FireCoder
博客等级 码龄17年 65粉丝 100原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

FireCoder

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值