Zookeeper基本概念及灵魂Paxos(分布式一致性算法)

deepfacelab下载安装及训练(小白篇),以及导出SAEHD为dfm文件,解决broken pipe问题 其中如果用的是RTX30系列显卡的话,需要把WIN10升级到20H4或更新版本,然后打开硬件加速,不然会出现训练时一直卡在第一个迭代不动了,我的服务器版本为22H2,符合。支持WIN10,win11,WIN7,LINUX,不支持mac(因为mac不支持NVIDIA显卡) 阅读详情

ZK的两个状态

可用状态,不可用状态。ZK号称200ms即可快速选出新主的高可用性

ZK的角色

Leader,Follower,Observer。为了可以快速选主,主从角色要小,查询角色可以很多。ZK重点是在读取上,而不是写

ZK节点

ZK节点类文件系统的形式,包括持久节点,临时节点,序列节点。

ZK的特征及保障

在这里插入图片描述

ZK相关id

cZxid,mZxid,pZxid分别时创建,修改,最后一次操作的事务id,前32位代表的是主节点的纪元。后面的位数记录操作次数

ZK的灵魂-Paxos

Paxos被认为是到目前为止唯一的分布式一致性算法,其它的算法都是Paxos的改进或简化。Paxos有一个前提:没有拜占庭将军问题。就是说Paxos只有在一个可信的计算环境中才能成立,这个环境是不会被入侵所破坏的。

基础约定:
1、节点总数一定
2、消息id只能增长,不能后退
3、消息超过半数恢复才可以生效
4、节点只承认消息id,比自身id大的消息。比自身id小直接拒绝
消息发布:
1、消息发布,当节点发现消息id大于自身时,向所有节点发送
2、超过半数,消息生效
(暗含2PC提交)
消息发布冲突:
1、三个节点a,b,c
2、a节点发布消息1,b节点发布消息2,结果c节点首先收到了a节点的消息。
3、达到半数通过,消息1生效
4、b节点消息2,发送到c节点。c节点看到id比自身小,拒绝了该消息
5、b节点可以向a,c节点,首先同步消息1,之后再发布一次消息2

Paxos与ZK
在这里插入图片描述
转自:Zookeeper全解析——Paxos作为灵魂

ZAB原子广播协议,数据可靠,可用一致性

朴实的原理概述:队列+2PC
作用在可用状态,并且有leader时
原子性:成功或者失败,没有中间状态
广播:分布式多节点,所有节点都知道该状态
在这里插入图片描述
1、create(ooxx),客户端向F1发起创建请求
2、create(ooxx),F1向Leader发送创建请求
3、Leader创建事务ID,Zxid:9
4-1:log,绿色的线。Leader向F1,F2发送日志
4-1:ok,F1返回ok,F2未返回。但是超过半数
4-2:write Leader向F1,F2写入数据(F2在进行操作完之后,最终也会执行队列中的4-2write操作,达成最终一致性)
之后Leader返回F1 ok,F1返回客户端OK

如果有client调用F2,可以调用sync同步leader消息。如果不调用,可能获得到旧的数据

Leader快速恢复原理

1、第一次启动集群,过半后,直接需选举id最大的成为Leader
2、leader挂了之后。 最先发现集群挂的节点n3,向其他节点发送leader挂了的消息,并且把自身的id和事务id发送过去。
其他的节点收到消息后,返回n3。如果其他节点发现事务id小于自身,驳回。
其他节点在收到消息并回复后,自身事务id被动+1,并且也给其他节点发送自身id和事务id。
其他节点发现该节点的id和事务id比自己大时,会给他投票。该节点时被动的接受票

(1、基于选举管道的两两通信
2、任意一个节点,都可以触发准leader对其他节点发布自身的,使他被动成为leader
3、推选制,比较Zxid,如果一致,比较myid)

watch callback

1、不需要client之间进行心跳验证,使用watch
2、首先get节点,之后watch该节点,在client1挂掉后,可以将事件回调给client2

告别130MB/s瓶颈!用Zynq+NVMe实现1.2GB/s高速存储的PL数据分流实战 本文详细介绍了如何通过Zynq+NVMe实现1.2GB/s高速存储的PL数据分流方案,突破传统Zynq架构130MB/s的瓶颈。文章分享了PL直连NVMe的硬件架构设计、软件栈优化及性能调优实战技巧,帮助开发者实现高速数据流的稳定存储。 阅读详情

相关推荐

当NetApp 7-mode遇到单控制器故障:HA模式手动修复全记录

本文详细记录了NetApp 7-mode存储系统在单控制器故障时的应急修复过程,包括HA配置重建、磁盘初始化和业务恢复等关键步骤。通过实战案例解析如何解决`VIA Interconnect is down`等典型问题,为企业级存储系统的高可用保障提供实用指南。

yolo5detector的博客 249

>> 技术应用:一致协议<Paxos 协议>

一、Paxos简介 Paxos 算法解决的问题是一个分布式系统如何就某个值(决议)达成一致。一个典型的场景是,在一个分布式数据库系统中,如果各节点的初始状态一致,每个节点都执行相同的操作序列,那么他们最后能得到一个一致的状态。为保证每个节点执行相同的命令序列,需要在每一条指令上执行一个"一致性算法"以保证每个节点看到的指令一致。一个通用的一致性算法可以应用在许多场景中,是分布式计算中的重要问题。 Paxos中保证一致性的最核心的两个原则是: 少数服从多数 后者认同前者Paxos分为两类: Bas

Lycos 377

Adams软件安装与配置全攻略:从入门到机器人仿真

机械系统动力学仿真软件Adams是工业机器人开发的重要工具,其安装过程涉及许可证配置、环境变量设置等关键技术环节。专业仿真软件安装通常需要处理系统兼容性、组件依赖和授权验证等工程问题,特别是在机器人控制仿真等场景中,还需集成MATLAB/Simulink等第三方工具。本文以Windows平台为例,详解Adams安装的核心步骤,包括系统环境检查、许可证服务器配置、工业机器人专项模块安装等实践要点,并针对NVIDIA Quadro显卡优化、27500端口通信等常见问题提供解决方案,帮助用户快速搭建可靠的仿真环境

weixin_28523493的博客 207

zk分布式实现理论,Paxos算法,ZAB协议,2024年最新java队列实现原理

又是一年求职季,在这里,我为各位准备了一套Java程序员精选高频面试笔试真题,来帮助大家攻下BAT的offer,题目范围从初级的Java基础到高级的分布式架构等等一系列的面试题和答案,用于给大家作为参考以下是部分内容截图一个人可以走的很快,但一群人才能走的更远。不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎扫码加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!内容截图[外链图片转存中…(img-j2EXzTnk-1712783168831)]

2401_84140428的博客 539

Proteus 8.15仿真STM32F103C8,ADC采样总为0?别急着换芯片,先检查这3个配置

本文详细解析了在Proteus 8.15中仿真STM32F103C8时ADC采样值为0的常见原因及解决方法。从供电网络配置、时钟设置到ADC参数调整,提供了系统性的排查指南,帮助开发者快速定位问题,避免不必要的硬件更换。重点关注供电网络、时钟分频和ADC配置等关键环节。

weixin_30425949的博客 366

光谱分布、光谱辐射通量密度与不同时间段分布光谱(图示)

1、光谱分布图 2 太阳辐射能量图 3、不同时间段的太阳分布光谱图 4、不同波长的光的能量分布主要区域 5、不同波段的使用场景

maopig的专栏 2万+

阿里面试官不会告诉你的分布式Paxos和ZK知识

Zookeeper面试必备知识

程序大视界 1990

空频、空时、空域、时域、频域抗干扰介绍

1、时域抗干扰:对时间域序列进行滤波,滤波系数h(n),采样序列不断进行输入与滤波系数卷积计算,得到响应输出;例如常用的FIR和IIR滤波器。 对于多窄带干扰噪声源和连续波干扰源有较好的处理效果,还可以解决多径问题; 可以通过在接收机前端处理中增加一个嵌入式块实现; 2、频域抗干扰:接收机不容易受到相对于接收机频带以外的强功率干扰; 通常为带通滤波和阻带滤波, 适用于窄带干扰噪声源,连续波干扰源以及较强的频带外干扰噪声源, 3、空域抗干扰:通过多个自适应天线按照特定组合成天线阵列,波束成形,针对

qq_43517907的博客 7311

Zookeeper全解析——Paxos作为灵魂

<br />原计划在介绍完ZK Client之后就着手ZK Server的介绍,但是发现ZK Server所包含的内容实在太多,并不是简简单单一篇Blog就能搞定的。于是决定从基础搞起比较好。<br />那么ZK Server最基础的东西是什么呢?我想应该是Paxos了。所以本文会介绍Paxos以及它在ZK Server中对应的实现。<br />先说Paxos,它是一个基于消息传递的一致性算法,Leslie Lamport在1990年提出,近几年被广泛应用于分布式计算中,Google的Chubby,Apac

Make Progress Everyday! 1110

KAN神经网络实战:如何用Python快速搭建你的第一个可解释性模型

本文提供了使用Python和PyTorch快速搭建首个KAN(Kolmogorov-Arnold Networks)神经网络模型的实战指南。通过对比传统MLP,详细解析了KAN利用可学习的边函数实现更高可解释性的核心原理,并逐步演示了从环境配置、数据准备、核心模块实现到模型训练与可视化的完整流程,帮助开发者掌握这一新兴的可解释性AI模型构建方法。

convnet3designer的博客 475

Unity 热更新技术 | (二) AssetBundle - 完整系列教程学习

开始学习热更新方面系列知识,就从这一篇开始吧! 本系列教程 会从热更新基本概念出发,详细介绍热更新相关的全套知识点。 如热更新技术基本原理、热更新主流方案、AssetBundle系列教程、Lua语言编程、Lua与Unity交互教程、Xlua框架使用、热更新实战教程等方面。 热更新作为一个开发者必备技能,如果想学习的话,可以从现在开始了哦~ 接下来从 AssetBundle - 完整系列教程学习 开始学习吧!

努力前行,总会成为自己心中的那道光 1万+

《从Paxos到Zookeeper 分布式一致性原理与实践》

第1章 分布式架构 1.1 从集中式到分布式 1.1.1 集中式的特点 1.1.2 分布式的特点 1.1.3 分布式环境的各种问题 1.2 从ACID到CAP/BASE 1.2.1 ACID 1.2.2 分布式事务 1.2.3 CAP和BASE理论 小结 第2章 一致性协议 2.1 2PC与3PC 2.1.1 2PC 2.1.2 3PC 2.2 Paxos算法 2.2.1 追本溯源 2.2.2 Paxos理论的诞生 2.2.3 Paxos算法详解 小结 第3章 Paxos的工程实践 3.1 Chubby 3

ByteX的博客 2749

高通开发系列 - Linux/Ubuntu移植到QCS8xxx平台

QCS8250和QRB5165平台属于体系架构相同的芯片,前置是带cellular而后者不带,即前置有移动网络而后者没有。 BSP部分的软件内容有差异需要修改外,同一套代码编译出来的执行程序是可以运行的,不会存在体系架构、指令集不匹配的问题。 QCS8250平台没有Linux/Ubuntu的软件SDK,只有Android的SDK,但是它对应j兼容的QRB5165平台有LE(Linux)和Ubun(Ubuntu)SDK。所以我们需要做的就是用QRB5165 Linux/Ubuntu移植到QCS8250平台上来

fulinux的博客 3192

zookeeper分布式一致性——Paxos算法

搭建HA集群的时候需要先安装zookeeper,而zookeeper的作用就是保持分布式一致性,它是如何保持分布式一致性的呢?接下来做一个具体了解。 说到zookeeper我们不得不提及Paxos,因为可以说Paxos是Zookeeper的灵魂。Paxos,它是一个基于消息传递的一致性算法,Leslie Lamport在1990年提出,近几年被广泛应用于分布式计算中。Google的Chubby...

东北溜达滑的博客 541

蓝牙模块HM-10手册

蓝牙模块HM-10手册,该手册对蓝牙模块HM-10进行了详细的介绍和使用方法以及一些AT指令。

SAP B1中文培訓教材_SDK

公司内部培训资料,对开发工具 ,DIAPI, UIAPI,Add-ON有详细解说

【Zookeeper灵魂】一个关于Paxos算法的故事

作者:大数据研习社  来源:优快云  原文:https://blog.youkuaiyun.com/dajiangtai007/article/details/68488701  版权声明:本文为博主原创文章,转载请附上博文链接! Zookeeper默认采用FastLeaderElection算法,然而FastLeaderElection对于Zookeeper来讲只是相当于paxos中的leader选举。...

Mask_V的博客 355

Outlook Express 6 (OE6) for Win7/Win8/Win10

英文版 Outlook Express6.0, 兼容Win7/Win10/WinXP,解压就可用。

上一篇: redis-缓存击穿\穿透\雪崩
下一篇: Zookeeper简单api使用
tgn123456
博客等级 码龄7年 28粉丝 142原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值