iRpc进阶之节点扩容

最新推荐文章于 2024-06-30 11:28:42 发布
最新推荐文章于 2024-06-30 11:28:42 发布
阅读量360 收藏
点赞数
分类专栏： iRpc 文章标签： rpc raft算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/sinat_28771747/article/details/115595603
版权

iRpc选举

iRpc项目地址:

  • gitee: https://gitee.com/willbeahero/iRpc
  • github: https://github.com/BrianApple/iRpc

iRpc基于raft选举算法实现服务节点自举,由于iRpc需要集群节点扩容,因此没有直接使用dledger项目作为选举实现框架,不过iRpc在实现选举和节点扩容的过程中,复用了dledger项目相关源代码,并按照iRpc所需做出相关调整,在此再次想dledger项目及作者表示感谢,dledger项目地址为: https://github.com/openmessaging/openmessaging-storage-dledger

iRcp选举过程大致如下(如果想要了解raft算法,请自行查询):

iRpc选举
iRpc实现基本的raft选举代码如下(所有配置信息均可采用javabean或yml配置文件等形式设置):

    /**
     * ABC
     */
    @Test
    public void startCluster1_Node1(){
        IRpcServerProperty serverProperty = new IRpcServerProperty();
        serverProperty.setServerPort("10916");
        serverProperty.setHeartbeat("60");
        serverProperty.setNodeName("n0");
        serverProperty.setGroupName("iRpcGroup");
        List<NodeInfo> lits = new ArrayList<NodeInfo>();
        NodeInfo node1 = new NodeInfo();
        node1.setNode("n0");
        node1.setIp("127.0.0.1");
        node1.setPort("10916");
        lits.add(node1);
        NodeInfo node2 = new NodeInfo();
        node2.setNode("n1");
        node2.setIp("127.0.0.1");
        node2.setPort("10917");
        lits.add(node2);
        NodeInfo node3 = new NodeInfo();
        node3.setNode("n2");
        node3.setIp("127.0.0.1");
        node3.setPort("10918");
        lits.add(node3);
        serverProperty.setClusterNode(lits);;

        new ServerStarter(serverProperty);
        try {
            Thread.sleep(Integer.MAX_VALUE);
        } catch (InterruptedException e) {
            // TODO Auto-generated catch block
            e.printStackTrace();
        }
    }

    /**
     * ABC
     */
    @Test
    public void startCluster1_Node2(){
        IRpcServerProperty serverProperty = new IRpcServerProperty();
        serverProperty.setServerPort("10917");
        serverProperty.setHeartbeat("60");
        serverProperty.setNodeName("n1");
        serverProperty.setGroupName("iRpcGroup");
        List<NodeInfo> lits = new ArrayList<NodeInfo>();
        NodeInfo node1 = new NodeInfo();
        node1.setNode("n0");
        node1.setIp("127.0.0.1");
        node1.setPort("10916");
        lits.add(node1);
        NodeInfo node2 = new NodeInfo();
        node2.setNode("n1");
        node2.setIp("127.0.0.1");
        node2.setPort("10917");
        lits.add(node2);
        NodeInfo node3 = new NodeInfo();
        node3.setNode("n2");
        node3.setIp("127.0.0.1");
        node3.setPort("10918");
        lits.add(node3);
        serverProperty.setClusterNode(lits);;

        new ServerStarter(serverProperty);
        try {
            Thread.sleep(Integer.MAX_VALUE);
        } catch (InterruptedException e) {
            // TODO Auto-generated catch block
            e.printStackTrace();
        }
    }
    /**
     * ABC
     */
    @Test
    public void startCluster1_Node3(){
        IRpcServerProperty serverProperty = new IRpcServerProperty();
        serverProperty.setServerPort("10918");
        serverProperty.setHeartbeat("60");
        serverProperty.setNodeName("n2");
        serverProperty.setGroupName("iRpcGroup");
        List<NodeInfo> lits = new ArrayList<NodeInfo>();
        NodeInfo node1 = new NodeInfo();
        node1.setNode("n0");
        node1.setIp("127.0.0.1");
        node1.setPort("10916");
        lits.add(node1);
        NodeInfo node2 = new NodeInfo();
        node2.setNode("n1");
        node2.setIp("127.0.0.1");
        node2.setPort("10917");
        lits.add(node2);
        NodeInfo node3 = new NodeInfo();
        node3.setNode("n2");
        node3.setIp("127.0.0.1");
        node3.setPort("10918");
        lits.add(node3);
        serverProperty.setClusterNode(lits);

        new ServerStarter(serverProperty);
        try {
            Thread.sleep(Integer.MAX_VALUE);
        } catch (InterruptedException e) {
            // TODO Auto-generated catch block
            e.printStackTrace();
        }
    }

iRpc节点扩容

集群扩容过程中,节点的选举依然基于raft算法,扩容节点和原集群节点的groupName必须一致，且iRpc不支持两个存在leader节点的集群合并扩容——会导致出现双leader情况,导致信息不一致

AB + C(AB) -> ABC 扩容模式

AB基于raft算法自举选出leader，C节点携带原集群所有节点信息且groupName一致，参与集群扩容,选举流程如下:
选举过程
测试代码:

/**
	 * AB
	 */
	@Test
	public void startNode1(){
		IRpcServerProperty serverProperty = new IRpcServerProperty();
		serverProperty.setServerPort("10916");
		serverProperty.setHeartbeat("60");
		serverProperty.setNodeName("n0");
		serverProperty.setGroupName("iRpcGroup");
		List<NodeInfo> lits = new ArrayList<NodeInfo>();
		NodeInfo node1 = new NodeInfo();
		node1.setNode("n0");
		node1.setIp("127.0.0.1");
		node1.setPort("10916");
		lits.add(node1);
		NodeInfo node2 = new NodeInfo();
		node2.setNode("n1");
		node2.setIp("127.0.0.1");
		node2.setPort("10917");
		lits.add(node2);
		serverProperty.setClusterNode(lits);;
		
		new ServerStarter(serverProperty);
		try {
			Thread.sleep(Integer.MAX_VALUE);
		} catch (InterruptedException e) {
			// TODO Auto-generated catch block
			e.printStackTrace();
		}
	}
	/**
	 * AB
	 */
	@Test
	public void startNode2(){
		IRpcServerProperty serverProperty = new IRpcServerProperty();
		serverProperty.setServerPort("10917");
		serverProperty.setHeartbeat("60");
		serverProperty.setNodeName("n1");
		serverProperty.setGroupName("iRpcGroup");
		List<NodeInfo> lits = new ArrayList<NodeInfo>();
		NodeInfo node1 = new NodeInfo();
		node1.setNode("n0");
		node1.setIp("127.0.0.1");
		node1.setPort("10916");
		lits.add(node1);
		NodeInfo node2 = new NodeInfo();
		node2.setNode("n1");
		node2.setIp("127.0.0.1");
		node2.setPort("10917");
		lits.add(node2);
		serverProperty.setClusterNode(lits);;
		
		new ServerStarter(serverProperty);
		try {
			Thread.sleep(Integer.MAX_VALUE);
		} catch (InterruptedException e) {
			// TODO Auto-generated catch block
			e.printStackTrace();
		}
	}

	/**
	 * ABC
	 */
	@Test
	public void startNode3(){
		IRpcServerProperty serverProperty = new IRpcServerProperty();
		serverProperty.setServerPort("10918");
		serverProperty.setHeartbeat("60");
		serverProperty.setNodeName("n2");
		serverProperty.setGroupName("iRpcGroup");
		List<NodeInfo> lits = new ArrayList<NodeInfo>();
		NodeInfo node1 = new NodeInfo();
		node1.setNode("n0");
		node1.setIp("127.0.0.1");
		node1.setPort("10916");
		lits.add(node1);
		NodeInfo node2 = new NodeInfo();
		node2.setNode("n1");
		node2.setIp("127.0.0.1");
		node2.setPort("10917");
		lits.add(node2);
		NodeInfo node3 = new NodeInfo();
		node3.setNode("n2");
		node3.setIp("127.0.0.1");
		node3.setPort("10918");
		lits.add(node3);
		serverProperty.setClusterNode(lits);;
		
		new ServerStarter(serverProperty);
		try {
			Thread.sleep(Integer.MAX_VALUE);
		} catch (InterruptedException e) {
			// TODO Auto-generated catch block
			e.printStackTrace();
		}
	}
AB + C(A) 或 AB + C(B) -> ABC 扩容模式

AB基于raft算法自举选出leader，C节点只携带AB集群中的一部分节点信息参与扩容，最终达成选举一致,如下为AB + C(A)扩容的流程:
AB + C(A)
相关测试代码如下:

    /**
     * AB
     */
    @Test
    public void startCluster1_Node1(){
        IRpcServerProperty serverProperty = new IRpcServerProperty();
        serverProperty.setServerPort("10916");
        serverProperty.setHeartbeat("60");
        serverProperty.setNodeName("n0");
        serverProperty.setGroupName("iRpcGroup");
        List<NodeInfo> lits = new ArrayList<NodeInfo>();
        NodeInfo node1 = new NodeInfo();
        node1.setNode("n0");
        node1.setIp("127.0.0.1");
        node1.setPort("10916");
        lits.add(node1);
        NodeInfo node2 = new NodeInfo();
        node2.setNode("n1");
        node2.setIp("127.0.0.1");
        node2.setPort("10917");
        lits.add(node2);
        serverProperty.setClusterNode(lits);;

        new ServerStarter(serverProperty);
        try {
            Thread.sleep(Integer.MAX_VALUE);
        } catch (InterruptedException e) {
            // TODO Auto-generated catch block
            e.printStackTrace();
        }
    }

    /**
     * AB
     */
    @Test
    public void startCluster1_Node2(){
        IRpcServerProperty serverProperty = new IRpcServerProperty();
        serverProperty.setServerPort("10917");
        serverProperty.setHeartbeat("60");
        serverProperty.setNodeName("n1");
        serverProperty.setGroupName("iRpcGroup");
        List<NodeInfo> lits = new ArrayList<NodeInfo>();
        NodeInfo node1 = new NodeInfo();
        node1.setNode("n0");
        node1.setIp("127.0.0.1");
        node1.setPort("10916");
        lits.add(node1);
        NodeInfo node2 = new NodeInfo();
        node2.setNode("n1");
        node2.setIp("127.0.0.1");
        node2.setPort("10917");
        lits.add(node2);
        serverProperty.setClusterNode(lits);;

        new ServerStarter(serverProperty);
        try {
            Thread.sleep(Integer.MAX_VALUE);
        } catch (InterruptedException e) {
            // TODO Auto-generated catch block
            e.printStackTrace();
        }
    }
    /**
     * AC
     */
    @Test
    public void startCluster1_Node3(){
        IRpcServerProperty serverProperty = new IRpcServerProperty();
        serverProperty.setServerPort("10918");
        serverProperty.setHeartbeat("60");
        serverProperty.setNodeName("n2");
        serverProperty.setGroupName("iRpcGroup");
        List<NodeInfo> lits = new ArrayList<NodeInfo>();
        NodeInfo node1 = new NodeInfo();
        node1.setNode("n1");
        node1.setIp("127.0.0.1");
        node1.setPort("10917");
        lits.add(node1);
        NodeInfo node2 = new NodeInfo();
        node2.setNode("n2");
        node2.setIp("127.0.0.1");
        node2.setPort("10918");
        lits.add(node2);
        serverProperty.setClusterNode(lits);;

        new ServerStarter(serverProperty);
        try {
            Thread.sleep(Integer.MAX_VALUE);
        } catch (InterruptedException e) {
            // TODO Auto-generated catch block
            e.printStackTrace();
        }
    }

总结

综上,iRpc既可以基于raft算法实现iRpc节点的自举,又在raft选举算法框架下实现了iRpc服务节点的动态扩容模式,是的iRpc服务节点部署的灵活性大大加强,能够满足更多的业务场景需求!

【Elasticsearch】ELASTICSEARCH集群节点的扩容（移除与添加）
九师兄
06-25 4287
1.概述 转载：ELASTICSEARCH集群节点的扩容（移除与添加） 0x01 前言 我的elasticsearch集群在刚建立之初只是想用于测试，所以每个节点只有300G的磁盘空间。但后来用在我自己业务的日志分析，磁盘空间则越来越小，最后不得不计划磁盘扩容的工作。 elasticsearch磁盘扩容非常简单，只需要将node中的分片迁移出去，然后从集群中剔除该node，重新安装系统和部署elasticsearch后即可重新加入集群。 为什么要那么麻烦？因为我家里服务器的资源有限，而且虚拟机的mac地址.
Redis集群节点扩容
ML908的博客
03-23 1198
文章目录案列概述软件包redis节点扩容1、节点基础环境（两台操作一致）2、安装redis（2台同时安装）3、创建集群4、使用redis-cli启动自动迁移5、迁移后检测各个节点槽的均衡性6、为扩容的主节点添加从节点7、平衡各节点槽数量 案列概述 ​ 某电商大型项目，由于业务大规模升级。项目中的前置缓存节点，已经不能满足当前的业务需求，现在对redis集群扩容一套redis主备节点，对于...
node节点扩容
weixin_30293079的博客
02-20 350
node节点扩容： 安装docker 部署 kubelet组件 拷贝admin.conf 拷贝bootstrap.conf 安装cni网络插件 拷贝ca.pem 证书，配置kubelet-config.yml文件中参数需要用到 通过csr请求 配置启动kube-proxy 转载于:https://www.cnblogs.co...
Hadoop大数据应用：HDFS 集群节点扩容
cronaldo91的博客
03-14 2126
（11）查看slaves (hadoop节点)SecondaryNameNode （已部署）ResourceManager（已部署）（7）域名主机名(hadoop节点)(10) 清除日志（node04节点）（14）启动服务 （node04节点）(15) 验证 （hadoop节点）000为KB，000000为MB，NodeManager（已部署）NodeManager（已部署）NodeManager（已部署）NameNode （已部署）DataNode（已部署）DataNode（已部署）
Redis Cluster集群架构部署实现及节点的扩容和缩容
m0_62024703的博客
11-30 2709
redis通过主从或者哨兵机制确实解决了单点失败问题，但是写操作都只发生在master节点，而master节点只有一个，写性能没有提升，因此，在大量的高并发场景下主从加上哨兵机制是支撑不了的，所以我们需要redis cluster来解决这个问题， redis cluster是3.0之后推出的一个技术，也就是相对偏后的一个技术，它可以很好的提升redis集群写操作的性能，也能保证服务的高可用，redis cluster的实现方案是基于所谓分布式的集群解决方案，所谓分布式就是数据不是放在单一的一个主机上，而是
Openstack学习总结之十（定制网络、节点扩容）
zhongliwen1981的专栏
04-07 831
前言 这部分我们定制一个“经典网络”，即提供对内和对外的网络模型。对外由provider网络提供，对内由internal网络提供。 一、准备工作 在VMware的control和compute主机上添加仅主机模型的网卡。 添加完成后启动control和compute主机，然后分别在两个主机中配置新网卡eth1。 cd /etc/sysconfig/network-scripts cp ifcfg-eth0 ifcfg-eth1 vim ifcfg-eth1 NAME=eth1 DEVICE=eth1 I
2022-08-01 网工进阶（二十四） STP进阶知识
x629242的博客
08-09 1163
为Yes的报文给所有非根交换机（约16-17次），收到的非根交换机会将MAC老化时间强制为15秒，之后重新计算生成树。3 配置BPDU只有根桥可以发送，非根交换机只能转发，导致拓扑变化后更新速度慢。1 收敛速度慢，侦听、学习各有15秒的转发延时，如果拓扑发生变化，14 转发延时：侦听和学习的延时15秒。：BPDU的最大老化时间，缺省值20秒。加上链路老化时间20秒，有50秒的等待。：侦听和学习的转发延时，缺省值15秒。1 协议ID：总值0。：BPDU的发送间隔，缺省值2秒。13 BPDU的发送间隔：2秒。.
EDIT IRPC-ES型近红外在线涂层厚度测量仪.pdf
09-22
1. EDIT IRPC-ES型近红外在线涂层厚度测量仪是武汉瑞菱科技有限公司推出的一款用于测量材料涂层厚度的设备。这种测量仪可以广泛应用于冶金、烟草、食品、木材、纸品加工、建材、化工、矿业、制药和能源等行业。 2. ...
掌握汇编语言：IRPC指令与程序设计详解
在微机原理的汇编语言部分，第四章着重讲解了字符串重复指令IRPC。IRPC（Integer Repeat with Parameters Command）是一种特定的指令，用于在程序中实现字符串的重复操作。其格式规定了形参和字符串的输入，形参将被...
使用基于图相似的点云质量，评价IRPC数据库，编写matlab程序
06-06
图的节点数为点云中点的个数，图的边数为节点数的平方减去节点数。将每个点与其他所有点之间的距离作为边的权重。 3. 计算相似度 使用SSIM方法计算每个点云与参考图形之间的相似度。可以使用Matlab中的ssim函数来...
CGX-3030IRPC/1E9 样品规格承认书
本文涉及的产品是深圳成光兴光电技术股份有限公司生产的CGX-3030IRPC/1E9型号的光电传感器。该文档是一份样品规格承认书，用于客户确认产品的性能和规格是否符合需求。 深圳成光兴光电技术股份有限公司是一家专注于...
服务器扩容文档说明,服务器计算节点内存扩容
weixin_35433770的博客
08-13 668
服务器计算节点内存扩容 内容精选换一换在联机事务处理场景下，采用单节点方式部署SAP HANA(可根据需要选择无HA配置或HA配置)。单节点部署无HA(High Available)的方案，如图1所示。说明如下：VPC网络：为了保证网络的安全，SAP HANA系统中所有节点在一个VPC网络内，且所有节点应属于同一个AZ(Available Zone)。公网子网区：NAT(Network Addre...
kubernetes节点减容与扩容
weixin_67405599的博客
11-18 1664
k8s缩容扩容，含二进制与kubeadm环境
K8S 集群节点扩容
最新发布
weixin_67050107的博客
06-30 1631
k8s 扩容节点
kubernetes节点扩容
xiaoxinghappy的散记
09-30 2071
1、概述 kuberneters作为伸缩性的集群，节点扩容是日常必备的功能，本文主要描述新增节点的完整过程。 2、过程简述 （1）、修改centos仓库地址，以加速安装过程 （2）、安装必要工具和设置系统 （3）、安装docker （4）、优化docker设置 （5）、安装 kuberneters组件 （6）、配置kuberneters环境 （7）、将节点加入已有集群 3、安装过程 （1）、修改centos仓库地址，以加速安装过程。 由于国外的centos仓库速度很慢，可以用阿里的镜
Redis集群搭建,扩容及收缩节点
weixin_47445145的博客
03-10 474
Redis集群搭建,扩容及收缩节点简单介绍二.集群搭建一.环境准备二.目录规划三.手动搭建部署集群1.创建安装目录及数据目录(实际端口按规划部署这里以6380,6381为例 )3.复制redis1的安装和数据目录到redis2，redis3（可先做ssh秘钥对）4.redis2,3分别操作,脚本只需要把里面地址改一下5.Redis Cluster 通讯流程6.手动配置节点发现7.Redis Cluster手动分配槽位8.手动配置集群高可用9.Redis Cluster测试集群10.模拟故障转移三.使用工具自
分布式一致性协议之 RAFT
神神秘秘
04-10 353
前言 对于raft也没什么说的，《In Search of an Understandable Consensus Algorithm》(Extended Version) 中已经说的很详细了，甚至连细节实现也都约束了。下面贴下中文翻译版。原出处：https://github.com/maemual/raft-zh_cn/blob/master/raft-zh_cn.md 寻找一种易于理解的一...
iRpc入门
sinat_28771747的博客
04-11 1057
简介 iRpc是基于Nio通信框架Netty编写的支持同步、异步方法执行的高性能RPC框架; 特点 高性能: iRpc底层通信基于NIO网络通信模式,java对象传输基于ProtoBuf序列化之后传输, 支持同步异步: 可根据需求选择同步和异步方法调用 单机、leader-follower模式可选: iRpc支持单机或leader-follower模式(无需第三方依赖) 支持leader-follower模式动态扩容: 基于raft选举算法自举leader,同时支持新iRpc节点动态增加到leader-f
Redis 学习笔记（十五）Redis Cluster 集群扩容与收缩
热门推荐
men_wen的博客
06-07 3万+
Redis Cluster 集群伸缩1. 伸缩原理Redis提供了灵活的节点扩容和收缩方案。在不影响集群对外服务的情况下，可以为集群添加节点进行扩容也可以对下线节点进行缩容。我们在Redis Cluster 介绍与搭建这篇文章中搭建了一个三主三从的Redis集群（如下图所示）。在搭建 Redis Cluster 通信流程剖析这篇博客中根据源码详细剖析了搭建集群的流程。本篇博客要讲的是，Redis集群
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

於之

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值