Cassandra 源码解析 4: GMS 集群管理

一致性算法-Gossip协议详解 - 起源 - Gossip protocol 也叫 Epidemic Protocol (流行病协议),是基于流行病传播方式的节点或者进程之间信息交换的协议。。Gossip protocol在1987年8月由施乐公司帕洛阿尔托研究中心研究员艾伦·德默斯(Alan Demers)发表在ACM上的论文《Epidemic Algorithms for Replicated Database Maintenance》中被提出。 Gossip协议是基于六度分隔理论(Six Degrees of ... 阅读详情

集群管理要做哪些事情:

  • 节点的添加。通知大家,I join the group. 引起部分hash空间的重新分布,需要做数据传输(bootstrap);什么时候,新的节点开始响应request?所有group memeber视图一致时。部分节点更新了member视图,部分节点没有更新,如果这时读写数据会有什么结果?
  • 节点的删除(宕机)。原则上数据会有N个备份,一台宕机,则会要找寻下一台存放备份
  • 节点重启. 不能因为重启而导致rebalancing of the partition 
  • 节点之间的heartbeat:检测节点的状态
  • 节点之间数据的一致性:拥有相同数据备份的节点,怎样保证数据的最终一致性
  • 节点视图的一致性:怎样保证节点拥有相同的member视图,比如member join 或者 leave,怎样用最少的网络代价来通知到所有节点. 

原理

首先要解决的是membership的维护,没有准确的membership视图,其他一起都是扯淡

假如我们着手解决这个问题,简单的方法是

  • 每个node起来时,发送一个multicast组播或者一个UDP广播. 已有node接收并更新自己的member视图。
  • 已有node中address最小的一个(master node)发送member list给新的节点
  • 每个节点对所有其他节点维持heartbeat,如果有节点死亡,则从list移走

如果网络数目有几百个,每个节点都需要维持几百个heartbeat连接,定时发送几百个消息。每次heartbeat的消息数为o(n^2),网络开销巨大。

Gossip Protocols

cassandra中使用的gossip protocol

A gossip-based protocol propagates membership changes and maintains an eventually consistent view of membership. Each node contacts a peer chosen at random every second and two nodes efficiently reconcile their persisted membership change histories.

illinois大学的一名学生在Adavnced Operation Systems中做了一个PPT

淘宝网的开发人员若海的介绍: Gossip简介

源头是一篇引用非常高的论文:Epidemic algorithms for replicated database maintenance

论文PPT介绍,同样来自illinois大学:Epidemics

理论支撑:Epidemic model

Single infected site eventually infects entire population of susceptible sites
In database replication, infected site is the one with the latest update, susceptible sites are those needing the update

Gossip的一个要点就是,每个node只需要定时和集群中某个node(每次随机)同步一次member视图,就能保证集群中所有节点的member视图一致. 按照Epidemic(伊波拉)理论,有一个节点被感染(新节点同该节点交互同步),最终所有的节点都会被感染.

Anti-Entropy

在谈论Gossip时,另外一个重要名词就是Anti-Entropy,在 dbthink翻译的一篇 cassandra文章中,anti-entropy和gossip分别讨论(cassandra的 gossip和 anti-entropy实现如此)。事实上论文介绍中,anti-entropy是gossip的一种实现形式.
名词解析: 在信息论中,熵是衡量信息量多少的量化指标,或者说是对某个随机变量的不确定性的衡量,变量的不确定性越大,熵也就越大,把它搞清楚所需要的信息量也就越大( 百度百科). 我理解的逆熵就是将不确定性变为确定性的过程。
every site regularly choose another site at random and by exchaning database contetns with it resolves any differences between the two
本文中谈及anti-entropy,将其对应为编程中一个的方法(过程)。其伪代码如下
forsome (site s in Sites)  //注意这里是some不是all,不用和所有的节点都进行同步,这是gossip核心所在
  resolveDifferences(localDB, s);
根据resolveDifferences的不同,anti-entropy对应如下三种形式

pull

if (localItem.timeStamp < i.timeStamp)
  
localItem.value = i.value; //pull,将更新从其他节点拉倒本地 - 更新本地

push

 if (localItem.timeStamp > i.timeStamp)
  i.value = localItem.value; //push
,将本地更新推送到其他节点-更新远端

pull-push

if (localItem.timeStamp < i.timeStamp)
  localItem.value = i.value; //pull
else if (localItem.timeStamp > i.timeStamp)
  i.value = localItem.value; //push

表面上看,pull和push最终都能将更新从一个节点传播至所有节点,但二者从概率分析上传播速度有所不同,pull比push收敛更快(即更新更快的达到所有节点,详细分析见Epidemic algorithms论文)。假如是log(n)回合,则一个更新传播出去所需要的通信次数是log(n) * n,每个回合每个节点都通信一次。

Cassandra 实现

EndPointState

节点的状态信息EndPointState,每个(已知)节点一个EndPointState,保存在Gossiper.endPointStateMap_中

 

很显然每个字段都有其用处,细节繁杂,不作深究,这里仅仅说明其中的几个字段

generation: 系统启动时,赋为当前时间(in seconds)(StorageService.initServer -> Gossiper.start)

version: 每次应用状态变化时,增1;每次heartbeat消息时,增1

ApplicationState 目前包含两个,一个是系统当下是处在normal还是boot当前(如果系统处在boot当中,不响应读写请求,可以参看TokenMetadata对所有Token的维护和使用;其他的left, leaving状态一般不会使用,比如强制某个节点退出ring时调用),另外一个是系统当下的负载信息(磁盘占用大小),load-balancer负载平衡用(另作分析)。同样,每个State有一个version。

 

generation + version(max) 构成同一节点两个状态的排序依据,version是heartbeat,MOVE_STATE和LOAD-INFORMATION中较大的一个version 。这两个字段可生成一个GossipDigest对象。在节点之间状态同步时,并不是将所有状态信息全部发送给对方比较,而是将每个EndPointState变为GossipDigest,节省传输数据量(?)。

member status syns 1 :(A -> B GossipDigestSynMessage)

如前介绍的Anti-Entropy,随机挑选一个(或者的)节点,将自身所有的GossipDigest(每个已知节点对应一个GossipDigest)发给对方。另外还根据一定的概率,随机挑选一个unreachable的endpoint,向其发送同步信息(如果响应,则live again)。最后,也随机挑选一个种子节点同步一下。GossipDigest被封装在GossipDigestSynMessage

 

member status syns 2 : (B -> A GossipDigestAckMessage)

对方节点收到sync消息后,会在GossipDigestSynVerbHandler中处理。resolveDifferences,根据GossipDigest找出哪些是要push(本地比remote新),哪些是要pull(remote比本地新),将push的EndPointState和pull的GossipDigest通过GossipDigestAckMessage消息回发给发起端.这里有一个trick是引入heartbeat的version(why)

If the max remote version is greater then we request the remote endpoint send us all the data for this endpoint with version greater than the max version number we have locally for this endpoint. If the max remote version is lesser, then we send all the data we have locally for this endpoint with version greater than the max remote version.

假如本地包含一个endpoint的version为(1,2,10), 10为heartbeat的version,在不停的增加. 另外一个remote point包含此endpoint的version为(1,2,20)。这时要求remote endpoint 发送version > 10的State,remote endpoint仅仅发送HeartbeatState,因为仅有heartbeat的version > 10。这样本地将endpoint的version更新为(1,2,20)

 

member status syns 3 : (A -> B GossipDigestAck2Message)

发起方收到ack消息后,会在GossipDigestAckVerbHandler中处理。将push过来的状态更新到本地applyStateLocally,同时将要pull的状态封装在GossipDigestAck2Message中发给对方

member status syns 4

对方收到ack2消息后,会在GossipDigestAck2VerbHandler中处理,将pull过来的状态更新到本地applyStateLocally.

applyStateLocally将HeartBeatState和ApplicationState更新至本地,同时通知IEndPointStateChangeSubscriber.onChange(StorageService和StorageLoadBalancer,前者更新node的token,或者更新node的load)

 

FailureDetector

其基本原理是如果now - last_heart_time 远远大于(根据代码中的公式,为18倍左右)以往两次heartbeat之间的时间间隔的平均值,则宣布该节点dead,通知IFailureDetectionEventListener(Gossiper.convict)

 

节点的启动/restart/宕机,member视图更新过程

启动时,和种子节点sync,种子节点将member视图push给新节点,同时将新节点的信息pull到本地。在下次gossip时候,种子节点和新节点都有可能将新节点的信息广播出去.

restart...

宕机...

 

Cassandra分析 一、 简介 Apache Cassandra是一套开源分布式Key-Value存储系统。它最初由Facebook开发,用于储存特别大的数据。Facebook目前在使用此系统。 主要特性: 分布式 基于column的结构化 高伸展性 Cassandra的主要特点就是它不是一个数据库,而是由一堆数据库节点共同构成的一个分布式网络服务,对Cassandra 的一个写操作,会被复制到其他节点上去,对Cassandra的读操作,也会被路由到某个节点上面去读取。对于一个Cassandra群集来说,扩展性能 阅读详情

相关推荐

Cassandra原理与代码实例讲解

Cassandra原理与代码实例讲解 作者:禅与计算机程序设计艺术 / Zen and the Art of Computer Programming 1. 背景介绍 1.1 问题的由来 随着大数据时代的到来,数据量的爆炸式增

AI天才研究院 558

聊聊Cassandra的FailureDetector

为什么80%的码农都做不了架构师?>>> ...

weixin_34163741的博客 386

cassandra源码分析

NULL 博文链接:https://ggsonic.iteye.com/blog/1555576

Gossip协议详解

起源 Gossip protocol 也叫 Epidemic Protocol (流行病协议),是基于流行病传播方式的节点或者进程之间信息交换的协议。。Gossip protocol在1987年8月由施乐公司帕洛阿尔托研究中心研究员艾伦·德默斯(Alan Demers)发表在ACM上的论文《Epidemic Algorithms for Replicated Database Maintenance》中被提出。 Gossip协议是基于六度分隔理论(Six Degrees of Separation)哲学

yizhiniu_xuyw的专栏 2828

Cassandra分布式架构与源代码分析

Cassandra是一个开源的分布式数据库,结合了Dynamo的Key/Value与Bigtable的面向列的特点,本文档对Cassandra源代码作了详细的分析,可以了解整个集群的运作细节。

Cassandra分布式模型与源代码分析

Cassandra分布式模型与源代码分析 分析了Cassandra的分布式模型

Cassandra 源码解析 1:网络通信

org.apache.cassandra.thrift -  Server 端入口CassandraDaemon: 启动类CassandraServer implements org.apache.cassandra.thrift.Cassandra.Iface : 接口类,类似于web service中的skeletonCustomTThreadPoolServer extends  org.apache.thrift.server.TServer :监听类,监听thrift client请求

FireCoder的专栏 7204

MRI多序列,多中心数据集预处理--使用FSL-Flirt 配准数据

FLIRT(FMRIB 的线性图像配准工具)是用于线性(仿射)模态内和模态间脑图像配准的全自动稳健且准确的工具。 什么是配准 在这两张图片上,很容易看出它们没有对齐,左边相对右边倾斜,虽然我们人类视觉系统还是能把对应的解剖关系连系在一起,但是我们使用计算机分析时确不能够 因此,我们希望相同的解剖结构对齐,用坐标表示的话,希望他们在相同的坐标上。如下图 对齐这些解剖结构的过程就叫做配准(register) 因此,配准的目的也是使相同的解剖结构在同一个位置,便于分析。可以将CT和MRI配准,看同一结构在两个

Tina姐的博客 1万+

cassandra源代码总结

1. Org.apache.cassandra.dht包    a.接口RingPosition         public Token getToken();      public boolean isMinimum(IPartitioner partitioner);      这个类是ring环的一个token位置,类中有两个方法getToken()返回token值,另

u010912405的专栏 1992

Word论文插入带有方括号序号的参考文献——尾注+交叉引用

文章目录1. 尾注功能2. 为参考文献的序号添加方括号3. 调整参考文献前的序号大小4. 重复引用同一参考文献5. 将交叉引用的序号改为带有方括号的上标序号格式6. 删除参考文献前的尾注横线 1. 尾注功能 首先使用尾注功能顺序插入参考文献,暂时不考虑方括号问题,具体操作如下: ① 将光标放在需要插入参考文献角标的地方 ② 在word菜单栏,“引用-脚注部分右下角箭头”(用来设置尾注格式) ③如...

Your_Raymond的博客 9万+

OpenPCDet安装及其3D检测算法实现

OpenPCDet及pointpillar复现

weixin_58207716的博客 1万+

Gossip协议理解

六度分隔理论、Gossip协议执行过程、应用场景、使用Gossip协议的技术组件或框架、消息传播类型、Anti-Entropy、Rumor-Mongering、信息传播方式(pull、push、pull&push)、优缺点、实现、Consul、Redis Cluster、Dynamo、memberlist、

lonelymanontheway的博客 1822

Django 小实例S1 简易学生选课管理系统 —— 〇、初步介绍与演示

python Django实现的一个简易的教务选课系统。 介绍与演示的视频版本已发到我的b站: https://www.bilibili.com/video/BV1er4y1w7ty。 项目已上传到我的github: https://github.com/BigShuang/SimpleStudentCourseManagementSystem。 S1总目录: 〇、初步介绍与演示 一、项目流程梳理与数据库设计 ======================= 大爽歌作,made by big shuang.

大爽老师的博客 5945

Cassandra 源码解析 4: GMS 集群管理 .

集群管理要做哪些事情: 节点的添加。通知大家,I join the group. 引起部分hash空间的重新分布,需要做数据传输(bootstrap);什么时候,新的节点开始响应request?所有group memeber视图一致时。部分节点更新了member视图,部分节点没有更新,如果这时读写数据会有什么结果? 节点的删除(宕机)。原则上数据会有N个备份,一台宕机,则会要找寻下一台存放备...

jackyhungvip的博客 203

深入浅出:使用Python爬取链家二手房数据

在数据驱动的时代,房地产数据作为社会经济的重要指标,一直是数据分析师、投资者和研究人员关注的焦点。链家作为国内领先的房产中介平台,其二手房数据具有较高的真实性和时效性。然而,官方API的访问限制和数据获取的门槛,让很多初学者望而却步。本文将带你从零开始,使用Python编写一个符合robots.txt规范的链家二手房爬虫,获取标题、户型、价格等信息。文章不仅会提供完整代码,还会深入讲解反爬策略、请求头伪装、数据解析、异常处理等实战技术。目录前言:为什么要写这篇博客?一、爬虫前的准备:法律与道德。

2201_76125261的博客 93

【读代码】从claude skills到superpowers项目

最近claude skills成了大热门,今天一起看下GitHub 上的开源技能框架,他将“工作流”封装为“技能” (Skills)。本文尝试剖析该项目的技能粒度定义、多技能关联架构、应用逻辑等。与传统的 Function Calling 不同,Superpowers 中的 Skill 定义粒度并非“原子操作”,而是**“认知模式” (Cognitive Mode) 或“工作阶段”**。

kakaZhui的博客 1925

Cassandra 源码解析汇总

<br />Cassandra 源码解析Cassandra 源码解析 1:网络通信Cassandra 源码解析 2: 文件流传输 对象序列化Cassandra 源码解析 3: 分布式hashtable(DHT) 和 LocatorCassandra 源码解析 4: GMS 集群管理Cassandra 源码解析 5: MerkleTreeCassandra 源码解析 6: Storage Engine (DB Layer)<br /> <br /> <br /> <br /> <br /> 

FireCoder的专栏 8246

使用 MATLAB/Simulink + Simscape Electrical + Simulink Design Optimization,构建一个基于SiC/GaN的Z源逆变器在储能系统中的软启

《手把手教你学Simulink:Z源逆变器在储能系统中的应用》摘要 本文详细介绍了使用MATLAB/Simulink构建Z源逆变器储能系统仿真模型的全过程。Z源逆变器凭借其独特的阻抗网络结构,解决了传统逆变器在直通保护和升压能力方面的痛点。文章通过6个关键步骤:主电路搭建、调制策略设计、软启动实现、仿真分析、效率对比和工程问题解决方案,完整展示了Z源逆变器从理论到仿真的实现路径。重点讲解了直通零矢量SPWM调制策略和渐进式升压比控制方法,验证了系统93.3%的效率和优异的抗扰性能。该模型为光伏储能、电动汽车

MHD0815的博客 122

Cassandra源码解析

你好,朋友,很高兴能和你一起分享我对Cassandra源码的研究和分析成果,虽然分析不能面面俱到,但是以下的文章涵盖了大部分Cassandra的核心内容,展示了主要的工作逻辑和关键代码。这里我将假定您对Cassandra已经有了基础的了解,假如您对它还一无所知,建议您可以先到Cassandra官网上简单了解一下Cassandra是什么,有什么用途以及NoSQL相比传统的数据库如MySQL,Oracl

司徒剑南的博客 7045

基于FPGA的UDP 通信(一)

手头的FPGA开发板上有一个千兆网口,最近准备做一下以太网通信的内容。本文先介绍基本的理论知识。 FPGA芯片型号:xc7a35tfgg484-2 网口芯片:RTL8211 网络接口:RJ45

记录所学,分享知识,结识挚友 8361

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

[分布式系列]Gossip协议

Gossip协议介绍,直接邮寄、反熵传播、谣言传播机制,Gossip实现原理

大摩羯先生 1223

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

Gossip协议

介绍 Gossip Protocol也叫Epidemic Protocol(流行病协议),还有其他名称,如流言算法、疫情传播算法等。 该协议的发布最早是在1987年8月温哥华举行的第六届ACM分布式计算原理的学术会议上,论文《Epidemic Algorithms for Replicated Database Maintenance》 该论文可以在百度学术查看到该论文的信息,下图是自论文发布以来引用量,可以看出分布式相关内容的火爆情况。 英文版下载 提取码:Eb07中文版下载 提取码:h15

猎户星座 536

NTscan扫描工具

ntscan是一个扫描器,可以扫描没有密码和弱密码的共享,先到配置文件中填写猜测的用户名和密码,扫描过程中右侧出现的是扫描日志。

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

「分布式技术专题」基于Gossip协议的去中心服务

概述 Gossip 协议可以翻译为流言协议。它是在 1987 年发表在 ACM 上的论文 《Epidemic Algorithms for Replicated Database Maintenance》中被提出的。论文中给 Gossip 协议的定义是一个以流行病传播的方式为基础的计算机点对点通信程序或过程(a procedure or process of computer peer-to-peer communication that is based on the way epidemics spre

qq_39918081的博客 367

Cassandra中Gossip具体实现方式

Cassandra集群没有中心节点,各个节点的地位完全相同,它们通过一种叫做gossip的协议维护集群的状态。 通过gossip,每个节点都能知道集群中包含哪些节点,以及这些节点的状态,这使得Cassandra集群中的任何一个节点都可以完成任意key的路由,任意一个节点不可用都不会造成灾难性的后果。

张兆坤 1万+

[译文]理解Cassandra源代码

[译文]理解Cassandra源代码 标签: 云计算 Cloud translation nosql cassandra reading 2010-05-13 01:22 原文: http://prettyprint.me/2010/05/02/understanding-cassandra-code-base/ 原作者:Ran Tavo

Rocky 1134

Cassandra 源码解析 5: MerkleTree

原理<br />在第4篇中,我们谈到集群管理要做的一件事情是保证不同节点数据备份的一致性。这里头涉及到两个问题:选择哪些节点之间定时同步,比如有n个节点持有相同数据备份,如果每次每台机器两两同步,每次开销为n*(n-1),so big?两个节点之间如何同步,比如每个节点存储1m条data[key, value],其中仅10条数目不一样。我们扫描所有1m数据找出这10条数目?<br />第一个问题cassandra使用gossip协议来保证每个节点的member视图一致(特点是:同步间隔短,1s一次;较小的网

FireCoder的专栏 6710
上一篇: Cassandra 源码解析 3: 分布式hashtable(DHT) 和 Locator
下一篇: Cassandra 源码解析 5: MerkleTree
FireCoder
博客等级 码龄17年 65粉丝 100原创
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

FireCoder

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值