Dubbo 源码解析 —— LoadBalance

正点原子ATK-LORA-01无线串口代码移植+STM32F103C8T6(标准库) 目录 一、ATK-LORA-01无线串口资料 二、代码移植 1.分析 (1)usart3(也可以是其他的串口)用于接收数据的串口 usart.h (2)time3(也可以是其他的定时器)用于时序的设置 (3)lora.c 三、演示 1.主机(发送方) (1)主机接线 (2)主机代码(发送方) (3)主机实物 插上无线串口通电即可发送​ 2.从机(接收方) (1)从机接线(LORA与主机相同) (2)从机代码(接收方) (3)从机实物 接上TTL和LORA并通电即... 阅读详情

作者:肥朝 原文地址:http://www.jianshu.com/p/53feb7f5f5d9

友情提示:欢迎关注公众号【芋道源码】。????关注后,拉你进【源码圈】微信群和【肥朝】搞基嗨皮。

友情提示:欢迎关注公众号【芋道源码】。????关注后,拉你进【源码圈】微信群和【肥朝】搞基嗨皮。

友情提示:欢迎关注公众号【芋道源码】。????关注后,拉你进【源码圈】微信群和【肥朝】搞基嗨皮。

前言

终于到了集群容错中的最后一个关键词,也就是 LoadBalance(负载均衡),负载均衡必然会涉及一些算法.但是也不用太担心,算法这个词虽然高大上,但是算法也有简单和复杂之分.既然是源码解析类的文章,那么就有义务让看不懂代码的看文章总结都能明白原理的义务.所以本篇尽量用一些简单的数学式子和流程图和大家一起梳理一下这些集群容错算法.

为了方便大家找到前几篇dubbo集群容错的文章,这里做一下小的目录跳转,后面会再弄一篇专门的目录

  • dubbo源码解析-集群容错架构设计

  • dubbo源码解析-directory

  • dubbo源码解析-router

  • dubbo源码解析-cluster

插播面试题

为了能够带着面试题去看文章,我把这个插播面试题的环节放在了前面比较显眼的位置

  • 谈谈dubbo中的 负载均衡算法及特点

  • 最小活跃数算法中是如何统计这个活跃数的

  • 简单谈谈你对 一致性哈希算法的认识

直入主题

我们还是按照惯例来看看接口的继承图

下面就对这四种负载均衡策略依次解析

RandomLoadBalance(随机)

引用文档介绍

  • 随机,按权重设置随机概率。

  • 在一个截面上碰撞的概率高,但调用量越大分布越均匀,而且按概率使用权重后也比较均匀,有利于动态调整提供者权重。

这个随机的策略是默认的策略,但是这个随机和我们理解上的随机还是不一样的,因为他还有个概念叫 weight(权重),这个"权重"的概念Android的同学一定不会陌生,因为在 LinearLayout布局中就有这个概念,在前端的CSS框架 Bootstrap的栅格和也有类似概念.说白了,这里说的权重就是用来控制这个随机的概率的,我们来看代码实现.

如果暂时没明白没关系,可以看看下面的 流程图和 数学分析

流程图

数学分析

假设有四个集群节点A,B,C,D,对应的权重分别是1,2,3,4,那么请求到A节点的概率就为1/(1+2+3+4) = 10%.B,C,D节点依次类推为20%,30%,40%.

敲黑板划重点

虽然这个随机算法理解起来是比较容易的,面试一般不会问这个,但是假如我们要实现类似的功能,他这个代码实现的思路还是很优雅的,非常具有借鉴意义.他这个实现思路从纯数学角度是很好理解的,我们还是按照上面 数学分析中的前提条件.我们知道总权重为10(1+2+3+4),那么怎么做到按权重随机呢?根据10随机出一个整数,假如为随机出来的是2.然后依次和权重相减,比如 2(随机数)-1(A的权重)=1,然后 1(上一步计算的结果)-2(B的权重)=-1,此时 -1<0,那么则调用B,其他的以此类推

RoundRobinLoadBalance(轮询)

引用文档介绍

  • 轮循,按公约后的权重设置轮循比率。

  • 存在慢的提供者累积请求的问题,比如:第二台机器很慢,但没挂,当请求调到第二台时就卡在那,久而久之,所有请求都卡在调到第二台上。

这个可以先网上搜索一下 权重轮询调度算法,因为 Nginx的负载均衡默认就是 轮询,所以我打算后面专门写一篇详细讲一下这个算法.

LeastActiveLoadBalance(最少活跃数)

引用文档介绍

  • 最少活跃调用数,相同活跃数的随机,活跃数指调用前后计数差。

  • 使慢的提供者收到更少请求,因为越慢的提供者的调用前后计数差会越大。

看完文档可能还是不明白究竟是什么意思,那我举个例子.每个服务有一个 活跃计数器,那么我们假如有A,B两个提供者.计数均为0.当A提供者开始处理请求,该计数+1,此时A还没处理完,当处理完后则计数-1.而B请求接收到请求处理得很快.B处理完后A还没处理完,所以此时A,B的计数为1,0.那么当有新的请求来的时候,就会选择B提供者(B的活跃计数比A小).这就是文档说的,使慢的提供者收到更少请求

那么我们来看代码实现

看不懂代码没关系,我讲一下他的思路,这部分代码概括起来就两部分,一部分是 活跃数和 权重的统计,另一部分是选择 invoker.也就是他把最小活跃数的 invoker统计到 leastIndexs数组中,如果权重一致(这个一致的规则参考上面的随机算法)或者总权重为0,则均等随机调用,如果不同,则从 leastIndexs数组中按照权重比例调用(还是和随机算法中的那个依次相减的思路一样).还不明白没关系,看下面的流程图和数学分析

流程图

数学分析

假设A,B,C,D节点的最小活跃数分别是1,1,2,3,权重为1,2,3,4.则 leastIndexs(该数组是最小活跃数组,因为A,B的活跃数是1,均为最小)数组内容为[A,B].A,B的权重是1和2,所以调用A的概率为 1/(1+2) = 1/3,B的概率为 2/(1+2) = 2/3

敲黑板划重点

活跃数的变化是在 com.alibaba.dubbo.rpc.filter.ActiveLimitFilter中,如果没有配置 dubbo:reference的 actives属性,默认是调用前活跃数+1,调用结束-1,鉴于很多人可能没用过这个属性,所以我把文档截图贴出来

另外如果使用该种负载均衡算法,则 dubbo:service中还需要配置 filter="activelimit"

ConsistentHashLoadBalance(一致性哈希)

引用文档介绍

  • 一致性 Hash,相同参数的请求总是发到同一提供者。

  • 当某一台提供者挂时,原本发往该提供者的请求,基于虚拟节点,平摊到其它提供者,不会引起剧烈变动。

  • 算法参见:http://en.wikipedia.org/wiki/Consistent_hashing

  • 缺省只对第一个参数 Hash,如果要修改,请配置

  1. <dubbo:parameter key="hash.arguments" value="0,1" />

  • 缺省用 160 份虚拟节点,如果要修改,请配置

  1. <dubbo:parameter key="hash.nodes" value="320" />

该算法的代码实现拿出来讲的话篇幅较大,这个 一致性哈希算法在缓存例如 redis的面试题中也经常喜欢问到,网上也有很多相关的文章,我这里主要是想用大白话来讲一下,主要讲三个关键词, 原理, down机影响, 虚拟节点

原理

简单讲就是,假设我们有个时钟,各服务器节点映射放在钟表的时刻上,把key也映射到钟表的某个时刻上,然后key顺时针走,碰到的第一个节点则为我们需要找的服务器节点

还是假如我们有a,b,c,d四个节点(感觉整篇文章都在做这个假如....),把他们通过 某种规则转成整数,分别为0,3,6,9.所以按照时钟分布如下图

假设这个key通过 某种规则转化成1,那么他顺时针碰到的第一个节点就是b,也就是b是我们要找的节点

那么我们可能就有疑问了,这个 某种规则究竟是什么规则?

这个规则你可以自己设计,但是要注意的是,不同的节点名,转换为相同的整数的概率就是衡量这个规则的好坏,如果你能做到不同的节点名唯一对应一个整数,那就是棒棒哒.当然java里面的 CRC32这个类你可以了解一下.

说到这里可能又会有另个疑问,时钟点数有限,万一装不下怎么办

其实这个时钟只是方便大家理解做的比喻而已,在实际中,我们可以在圆环上分布 [0,2^32-1]的数字,这量级全世界的服务器都可以装得下.

down机影响

通过上图我们可以看出,当b节点挂了之后,根据顺时针的规则,那么目标节点就是c,也就是说,只影响了一个节点,其他节点不受影响.

如果是轮询的取模算法,假设从N台服务器变成了N-1台,那么命中率就变成 1/(N-1),因此服务器越多,影响也就越大.

虚拟节点

为什么要有虚拟节点的概念呢?我们还是回到第一个假设,我们还是有a,b,c,d四个节点,他们通过某个规则转化成0,3,6,9这种自然是均匀的.但是万一是0,1,2,3这样,那就是非常不均匀了.事实上, 一般的 Hash函数对于节点在圆环上的映射,并不均匀.所以我们需要引入虚拟节点,那么什么是虚拟节点呢?

假如有N个真实节点,把每个真实节点映射成M个虚拟节点,再把 M*N 个虚拟节点, 散列在圆环上. 各真实节点对应的虚拟节点相互交错分布这样,某真实节点down后,则把其影响平均分担到其他所有节点上.

也就是a,b,c,d的虚拟节点 a0,a1,a2, b0,b1,b2, c0,c1,c2, d0,d1,d2散落在圆环上,假设C号节点down,则 c0,c1,c2的压力分别传给 d0,a1,b1,如下图

写在末尾

dubbo系列集群容错的写到这里就基本结束了,下一部分大家是想看 服务发布和 服务引用还是 网络通信,编解码呢?欢迎在简书留言告诉我.如果对你有所帮助,希望点赞,关注支持.鉴于本人才疏学浅,不对的地方还望斧正,也欢迎关注我的简书,名称为肥朝

MWORKS 2025a电气模型库实战:手把手教你搭建全桥LLC电路(附避坑指南) 本文详细介绍了如何使用MWORKS 2025a电气模型库搭建全桥LLC电路,包括环境准备、电路拓扑构建、参数优化及故障诊断。通过实战案例和避坑指南,帮助电源工程师高效设计谐振转换器,提升转换效率至98%以上。文章特别强调了Modelica模型库在电气系统建模中的关键作用。 阅读详情

相关推荐

强化学习-动态规划

动态规划(dynamic programming)是程序设计算法中非常重要的内容,能够高效解决一些经典问题,例如背包问题和最短路径规划。动态规划的基本思想是将待求解问题分解成若干个子问题,先求解子问题,然后从这些子问题的解得到目标问题的解。动态规划会保存已解决的子问题的答案,在求解目标问题的过程中,需要这些子问题答案时就可以直接利用,避免重复计算。本章介绍如何用动态规划的思想来求解在马尔可夫决策过程中的最优策略。

qq_45481856的博客 2115

dubbo源码解析-简单原理、与spring融合

前言 结束了集群容错和服务发布原理这两个小专题之后,有朋友问我服务引用什么时候开始,本篇为服务引用的启蒙篇.之前是一直和大家一起看源码,鉴于Talk is cheap.Show me your code,所以本篇将和大家一起写写代码. 插播面试题 dubbo的原理是怎么样的?请简单谈谈 有没有考虑过自己实现一个类似dubbo的RPC框架,如果有,请问你会如果着手实现?(面试高频题,区分度...

weixin_34203426的博客 242

ROS Navigation global_planner框架解析

ROS Navigation global_planner框架解析主要讲一下我看源码总结的框架,如果大家跟着这个框架看源码的话可能会看的比较快。主要讲解global_planner关键配置参数含义及关键函数Astar,Dijkstra,QuadraticCalculator::calculatePotential,PotentialCalculator::calculatePotential,GridPath::getPath,GradientPath::getPath.

Jeff_Lee_的博客 4695

dubbo源码解析-服务引用原理

前言 经过上一篇dubbo源码解析-简单原理、与spring融合的铺垫,我们已经能简单的实现了dubbo的服务引用.其实上一篇中的代码,很多都是从dubbo源码中复制出来,甚至有些类名,变量名都没改.那请问,我为什么要这么做? 我认为学习一个框架,无非就三个步骤. 掌握基本使用 看过源码,知道其中原理 临摹源码,自己仿写一个简易的框架 其实大家都清楚,编程这东西,最关键是多动手.也就是,第三...

weixin_33843409的博客 366

VMware桥接模式实战:用手机热点给Linux虚拟机共享网络(附WiFi适配技巧)

本文详细介绍了在移动办公场景下,如何为VMware中的Linux虚拟机配置桥接模式,以通过手机热点共享网络。文章深入解析了桥接模式在无线环境下的工作原理,提供了从主机端准备、VMware设置到Linux虚拟机内部配置的完整实战步骤,并针对手机热点的特殊性,分享了MTU优化、DNS配置及常见网络问题的诊断与解决方案,帮助用户实现稳定高效的移动虚拟化办公。

2y3u4i5o6p的博客 1202

在MDK5.37版本中添加Complier Version 5( 解决Missing Compiler Version 5 )

本文章仅作为个人学习记录,方法也是从其他博主的博客中得到的,链接如下:二、Keil——Missing Compiler Version 5 和 core_cm3.c 问题解决 - YI颗白菜 - 博客园 (cnblogs.com) 问题描述 更新最新的keil版本(MDK5.37)后,在编译以前版本的工程文件时,发现出现了非常多的报错,在网上搜索之后发现原来时编译器版本不匹配的问题,即MDK5.37中使用的是Version 6版本的编译器,而缺少Version 5,对于以前编写的工

leveling99的博客 1万+

Dubbo 源码解析 —— 集群容错架构设计

作者:肥朝 原文地址:http://www.jianshu.com/p/8e007012367e友情提示:欢迎关注公众号【芋道源码】。????关注后,拉你进【源码圈】微信群和【肥朝】搞基...

芋艿V 277

利用 Openocd 和 FT2232H 实现 ARMv8(Coretex-A53)高效调试方案

本文详细介绍了如何利用开源工具OpenOCD与高性能USB转接芯片FT2232H,构建一套针对ARMv8架构(如Cortex-A53)的高效、低成本调试方案。内容涵盖从环境搭建、驱动配置、核心调试架构解析到实战问题排查的全过程,帮助开发者实现对多核处理器的透明、可控调试,是嵌入式Linux及底层开发的实用指南。

weixin_29163581的博客 281

Dubbo源码解析 - 远程暴露

作者:肥朝 原文地址:http://www.jianshu.com/p/893f7e6e0c58友情提示:欢迎关注公众号【芋道源码】。?关注后,拉你进【源码圈】微信群和【肥朝】搞基嗨皮。友情提示:欢迎关注公众号【芋道源码】。?关注后,拉你进【源码圈】微信群和【肥朝】搞基嗨皮。友情提示:欢迎关注公众号【芋道源码】。?关注后,拉你进【源码圈】微信群和【肥朝】搞基嗨皮。前言本篇讲的是dubbo中比较重要

芋道源码 1153

K210开发板学习笔记(三)——STM32+K210+SD卡实现人脸识别(完整K210代码)

更新日记:2022年4月26日 更新了串口通信部分的内容,本文写的略为粗糙,恐有不当之处,希望大家不吝赐教。 人脸识别 一、MaixPy IDE开发 参考博主晨少hc的博文(https://blog.youkuaiyun.com/HuangChen666/article/details/113995079)来实现人脸识别功能,我用的硬件是亚博智能的K210开发板,在配置工程中有几步和这个博主的不一样,需要注意。 所需要的文件有:模型文件),脚本文件,ide需要的bin文件...

Embedded learner的博客 4万+

【WSN定位】基于AOA算法实现目标无源定位附matlab代码

1 简介 2 部分代码 clear all; close all; clc;​stations = [0 0 0;20 0 0]; %基站位置​X = -100:100; %生成目标位置Y = X.*sin(X);Z = X+Y;N = length(X);Locations = zeros(N,3);angs = zeros(N,4);for i = 1:N angs(i,:) = Angs(stations*1e3,[X(i),Y(i),Z(i)]*1e3);end​for

qq_59747472的博客 2309

Dubbo源码解析 —— Router

作者:肥朝 原文地址:http://www.jianshu.com/p/278e782eef85友情提示:欢迎关注公众号【芋道源码】。????关注后,拉你进【源码圈】微信群和【肥朝】搞基...

芋艿V 229

精雕软件(JDpaint) 5.5 绿色版

精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版

深入Dubbo 源码解析 — 负载均衡LoadBalance

技术点 面试中Dubbo负载均衡常问的几点 常见负载均衡算法简介 Dubbo 官方文档介绍 Dubbo 负载均衡的策略 Dubbo 负载均衡源码解析 面试中Dubbo负载均衡常问的几点 负载均衡算法 最小活跃数 一致性哈希算法 常见负载均衡算法简介 首先引出一点 负载均衡的目的是什么? 当一台服务器的承受能力达到上限时,那么就需要多台服务器来组成集群,提升应用整体的吞吐量,那...

java技术交流 583

SAP B1中文培訓教材_SDK

公司内部培训资料,对开发工具 ,DIAPI, UIAPI,Add-ON有详细解说

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

dubbo源码解析-LoadBalance

Dubbo源码解析系列文章均来自肥朝简书 前言 终于到了集群容错中的最后一个关键词,也就是LoadBalance(负载均衡),负载均衡必然会涉及一些算法.但是也不用太担心,算法这个词虽然高大上,但是算法也有简单和复杂之分.既然是源码解析类的文章,那么就有义务让看不懂代码的看文章总结都能明白原理的义务.所以本篇尽量用一些简单的数学式子和流程图和大家一起梳理一下这些集群容错算法. 为了方便大家找...

Franco的博客 248

IDEA的使用指南

IDEA基于java的使用手册,可以最快速的上手,在使用中不断的丰富自己的使用技巧.

Dubbo 源码解析 - 集群容错之LoadBalance

是Dubbo集群容错功能中的重要组件,通过合适的负载均衡策略,可以实现请求的均衡分配、容错处理和性能优化。通过对源码的解析,我们可以更好地理解Dubbo中负载均衡的工作原理,帮助我们更好地选择和使用负载均衡策略,提高系统的可用性和性能。

qq_33240556的博客 689

Dubbo负载均衡LoadBalance源码解析

Dubbo负载均衡包含4中算法 RandomLoadBalance 随机带权重(默认) RoundRobinLoadBalance 轮询带权重 LeastActiveLoadBalance 最少活跃调用数 ConsistentHashLoadBalance 一致性Hash算法 AbstractLoadBalance 抽象类 外部调用入口,可根据Invoker获取权重,具有预热功能 public abstract class AbstractLoadBalance implements LoadBalance

跟心爱的人一起浪迹天涯 278

Dubbo源码解析实战 - 负载均衡算法LoadBalance

1 简介 本篇尽量用一些简单的数学式子和流程图和大家一起梳理一下这些集群容错算法. 2 灵魂拷问 谈谈dubbo中的负载均衡算法及特点 最小活跃数算法中是如何统计这个活跃数的 简单谈谈你对一致性哈希算法的认识 3 接口的继承体系 4 RandomLoadBalance(随机) 随机,按权重设置随机概率在一个截面上碰撞的概率高,但调用量越大分布越均匀,而且按概率使用权重后也比较均匀,有利于动...

qq_35854212的博客 817

dubbo集群容错之loadbalance负载均衡 源码解析

首先我们看看LoadBalance package com.alibaba.dubbo.rpc.cluster; import java.util.List; import com.alibaba.dubbo.common.URL; import com.alibaba.dubbo.common.extension.Adaptive; import com.alibaba.dubbo.common.extension.SPI; import com.alibaba.dubbo.rpc.Invocatio

追逐消失的记忆 727

dubbo源码解析(三十八)集群——LoadBalance

集群——LoadBalance 目标:介绍dubbo中集群的负载均衡,介绍dubbo-cluster下loadBalance包的源码。 前言 负载均衡,说的通俗点就是要一碗水端平。在这个时代,公平是很重要的,在网络请求的时候同样是这个道理,我们有很多机器,但是请求老是到某个服务器上,而某些服务器又常年空闲,导致了资源的浪费,也增加了服务器...

weixin_33813128的博客 124

Dubbo源码解析之LoadBalance负载均衡

阅读须知 dubbo版本:2.6.0 spring版本:4.3.8 文章中使用/* */注释的方法会做深入分析 正文

0xZzzz的博客 1216

dubbo源码深度解析_Dubbo源码解析实战 - 负载均衡算法LoadBalance

1 简介本篇尽量用一些简单的数学式子和流程图和大家一起梳理一下这些集群容错算法.2 灵魂拷问谈谈dubbo中的负载均衡算法及特点最小活跃数算法中是如何统计这个活跃数的简单谈谈你对一致性哈希算法的认识3 接口的继承体系4 RandomLoadBalance(随机)随机,按权重设置随机概率 在一个截面上碰撞的概率高,但调用量越大分布越均匀,而且按概率使用权重后也比较均匀,有利于动态调整提供者权重。默认...

weixin_39594080的博客 273

dubbo 传fiel为null_Dubbo源码解析实战 - 负载均衡算法LoadBalance

1 简介本篇尽量用一些简单的数学式子和流程图和大家一起梳理一下这些集群容错算法.2 灵魂拷问谈谈dubbo中的负载均衡算法及特点最小活跃数算法中是如何统计这个活跃数的简单谈谈你对一致性哈希算法的认识3 接口的继承体系4 RandomLoadBalance(随机)随机,按权重设置随机概率 在一个截面上碰撞的概率高,但调用量越大分布越均匀,而且按概率使用权重后也比较均匀,有利于动态调整提供者权重。默认...

weixin_39963523的博客 101

客户连接多个服务端_Dubbo源码解析之客户端Consumer

前面我们学习了Dubbo源码解析之服务端Provider。对服务提供方进行思路上的讲解,我们知道以下知识点。本篇文章主要对消费方进行讲解。废话不多说请看下文。如何将对象方法生成Invoker如何将Invoker注册到注册地中心如何处理客户端的请求二进制数据转java数据协议协议中包含的序列化知识一、启动一个客户端Consumer1. 定义一个接口注意这里其实是引用的前文中的接口。生产中是服务提供方...

weixin_39520393的博客 272
上一篇: 【死磕Java并发】—– Java内存模型之重排序
下一篇: 熔断器 Hystrix 源码解析 —— 命令执行(一)之正常执行逻辑
公众号-芋道源码
博客等级 码龄10年 1639粉丝 377原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值