从零开始的高并发--- Zookeeper实现分布式锁

分布式锁(Redisson)-从零开始,深入理解与不断优化 关于第二个提升性能的问题,我们可以参考ConcurrentHashMap的锁分段技术的思想,例如我们代码的库存量当前为1000,那我们可以分为10段,每段100,然后对每段分别加锁,这样就可以同时执行10个请求的加锁与处理,当然有要求的同学还可以继续细分。经过改进后的代码是否还存在问题呢?我们思考正常执行的情况下应该是没有问题,但我们假设请求在执行到业务代码时服务突然宕机了,或者正巧你的运维同事重新发版,粗暴的 kill -9 掉了呢,那代码还能执行 finally 吗?但我们再思考下是否还存在问题呢? 阅读详情

01 前言

我们现在拥有这么一个集群,集群里面有个缓存服务,集群中每个程序都会用到这个缓存,如果此时缓存中有一项缓存过期了,在大并发环境下,同一时刻中许许多多的服务都过来访问缓存,获取缓存中的数据,发现缓存过期,就要再去数据库取,然后更新到缓存服务中去。但是其实我们仅仅只需要一个请求过来数据库去更新缓存即可,然后这个场景,我们该怎么去做?

我们参考多线程的场景下会使用到锁的这个方法,放到现在的并发场景下,我们也是需要通过一种锁来实现。

02 使用Zookeeper来进行开发

1.锁的特点与原生zookeeper

(1) 普通锁具备什么特点?

​①排他(互斥)性:只有一个线程能获取到

                           文件系统(同一个文件不支持多个人去修改)

                           数据库:主键唯一约束 for update

                           缓存:redis setnx命令

                           zookeeper:类似文件系统

②阻塞性:其他未抢到的线程阻塞,直到锁被释放再进行抢这个行为

③可重入性:线程获取锁后,后续是否可重复获得该锁复制代码

(2)为什么zookeeper可以用来实现锁

①同一个父目录下面不能有相同的子节点,这就是zookeeper的排他性

②通过JDK的栅栏来实现阻塞性

③可重入性我们可以通过计数器来实现复制代码

(3)原生的zookeeper存在着什么问题

①接口难以使用

②连接zookeeper超时不支持自动重连

③watch注册一次会失效,需要反复注册

④不支持递归创建节点(递归创建的话,比方说我要创建一个文件,假如我在idea创建,那我可以连带着包一起创建,但是在window我就做不到,这种整一个路径一并创建下来的就可以视为递归创建)

⑤需要手动设置序列化的问题复制代码

(4) 创建客户端的核心类:Zookeeper

2.使用第三方客户端zkClient来简化操作

(1)实现序列化接口 ZkSerializer

MyZkSerializer.java

 

(2)zkclient的简单使用

ZkClientDemo.java

运行结果

调用ls /zk---可以发现app6已经被创建,

通过get /zk/app6---可获取到我们设置的123这个值

说明我们的程序没有问题,可以成功执行

这里测试监听事件

create /zk/app6/tellYourDream时---控制台打印/zk/app6子节点发生变化:[tellYourDream]

delete /zk/app6/tellYourDream---控制台打印/zk/app6子节点发生变化:[],此时已经不存在任何节点,所以为空

set /zk/app6 123456---/zk/app6发生变化:123456

delete /zk/app6---同时触发了两个监听事件,/zk/app6子节点发生变化:null 和 /zk/app6节点被删除

(3) CreateMode 的补充

①持久化节点:不删除节点永远存在。且可以创建子节点

②非持久节点,换言之就是临时节点,临时节点就是客户端连接的时候创建,客户端挂起的时候,临时节点自动删除。不能创建子节点

还有更多的一些监听方法,我们可以自己去尝试一下。

3.Zookeeper实现分布式锁

(1) zookeeper实现分布式锁方式一

我们之前有提到,zookeeper中同一个子节点下面的节点名称是不能相同的,我们可以利用这个互斥性,就可以实现分布式锁的工具

临时节点就是创建的时候存在,消失的时候,节点自动删除,当客户端失联,网络不稳定或者崩溃的时候,这个通过临时节点所创建的锁就会自行消除。这样就可以完美避免死锁的问题。所以我们利用这个特性,实现我们的需求。

原理其实就是节点不可重名+watch机制。

比如说我们的程序有多个服务实例,哪个服务实例都去创建一个lock节点,谁创建了,谁就获得了锁,剩下我们没有创建的应用,就去监听这个lock节点,如果这个lock节点被删除掉,这时可能出现两种情况,一就是客户端连不上了,另一种就是客户端释放锁,将lock节点给删除掉了。

ZkDistributeLock.java(注意,不需要重写的方法已经删除)

实现Lock接口要重写的方法(包括尝试创建临时节点tryLock(),解锁unlock(),上锁lock(),waitForLock()实现阻塞和唤醒的功能方法)

 

ZkDistributeLock,现在我们再总结一下流程

这个设计会有一个缺点,比如我的实例现在有无数个,此时我们的lock每次被创建,有人获取了锁之后,其他的人都要被通知阻塞,此时我们就浪费了很多的网络资源,也就是惊群效应。

此时我们必须进行优化

(2)zookeeper实现分布式锁方式二

我们的Lock作为一个znode,也可以创建属于它的子节点,我们使用lock创建临时顺序节点,zookeeper是有序的,临时顺序节点会自动进行由小到大的自动排序,此时我们把实例分配至这些顺序子节点上,然后编号最小的获取锁即可。这非常类似于我们的公平锁的概念,也是遵循FIFO原则的

原理:取号 + 最小号取lock + watch

同样是基于Lock接口的实现

ZkDistributeImproveLock.java(注意,不需要重写的方法已经删除)

ps:不用担心内存占满的问题,JVM会进行垃圾回收

4.更为简单的第三方客户端---Curator

这里对于curator就不做展开了,有兴趣可以自己去玩下

对于选举leader,锁locking,增删改查的framework等都有实现

解决ZooKeeper扩展性问题:优化服务器配置 在构建大规模分布式系统时,ZooKeeper是一个常用的开源协调服务,用于管理和协调分布式应用程序的配置信息、命名服务、分布式锁等。通过以上这些方法,我们可以优化ZooKeeper的配置,以提高其性能和扩展性。根据系统的需求和负载特点,我们可以采用适当的方法来解决ZooKeeper的瓶颈问题。在这个示例中,我们将所有的ZooKeeper服务器配置在upstream块中,并使用proxy_pass指令将请求代理到这些服务器上。请注意,以上提供的示例配置和代码仅供参考,具体的配置和代码取决于您的系统和环境。 阅读详情

相关推荐

《大厂高并发分布式锁从入门到实战》第4讲之Zookeeper分布式锁

首先我们先回顾一下zk的相关知识。zk作为分布式应用程序协调服务软件,是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是hadoop和hbase的重要组件,它是一个为分布式应用提供一致性服务的软件,提供的功能包括:配置维护、域名服务、分布式同步、组服务等。zk的目标就是封装好复杂易出错的关键服务,将简单易用的接口和性能高效、功能稳定的系统提供给用户。包含一个简单的源语集,提供java和c的接口。

小米吃辣椒的博客 1042

zookeeper分布式锁和服务优化配置

转自:https://www.jianshu.com/p/02eeaee4357f?utm_campaign=maleskine&utm_content=note&utm_medium=pc_all_hots&utm_source=recommendation 前言:这几天忙合作方的项目,就在刚刚如期上线了, 才得以得空,闲下来,和大家吹吹牛,讨论讨论技...

weixin_33913332的博客 145

使用ZooKeeper实现分布式锁

在分布式高并发的情况下,多个访问之间拥有唯一的一个订单编号,多次提交的订单不会出现重复的,只能是唯一的,ZooKeeper就很好的解决了唯一性

【分布式系统中的“瑞士军刀”_ Zookeeper】三、Zookeeper 在实际项目中的应用场景与案例分析

本篇文章通过电商秒杀、微服务架构、分布式配置管理和大数据处理集群等实际项目案例,详细展示了 Zookeeper 在不同场景下的应用及最佳实践。从命令操作到配置文件修改,从代码实现到效果分析,全面呈现了 Zookeeper 的强大功能和重要价值。在实际项目中,合理运用 Zookeeper 技术,能够有效解决分布式系统中的各种难题,提升系统的稳定性、可靠性和性能。随着分布式技术的不断发展,Zookeeper 也将在更多领域发挥关键作用,值得开发者深入研究和应用。

qq_58611691的博客 1808

基于zookeeper的分布式锁简单实现

基于zookeeper的分布式锁简单实现,包含测试代码,实用工具类

基于zookeeper的分布式锁实现demo

基于zookeeper的分布式锁实现demo,可以直接用在生产环境

Zookeeper的高并发表现

写操作的延迟和主节点的压力网络延迟对集群同步的影响锁机制和同步操作对性能的限制节点数量对可扩展性和高可用性的影响优化写操作,尽量减少写请求的频率调整集群节点数,合理配置硬件和网络资源针对业务场景选择合适的分布式协调框架,可能的话,使用Zookeeper的替代品(如 etcd、Consul)来处理高并发场景下的需求。读操作:Zookeeper 可支持10,000 QPS或更高。写操作:在高并发写入场景下,通常在500 到 2,000 QPS之间。混合负载。

itsniu的博客 1422

华大HC32F460从零到200MHz:手把手教你配置时钟系统(附避坑指南)

本文详细解析了华大HC32F460 MCU的时钟系统配置,从启动过程、时钟树分析到实战配置200MHz系统时钟。文章手把手指导开发者如何正确配置外部晶振、MPLL锁相环及总线分频,并提供了硬件检查、代码解读及常见问题排查的避坑指南,帮助用户从零构建稳定可靠的高性能时钟环境。

net55的博客 297

Zookeeper分布式锁实现

zookeeper最初设计的初衷就是为了保证分布式系统的一致性。本文将讲解如何利用zookeeper的临时顺序结点,实现分布式锁。

2301_76632762的博客 1373

模糊控制——基本原理(附MATLAB程序)

模糊化:使用隶属函数将实际输入转换为模糊集合的隶属度值。规则库:利用“如果-那么”规则将模糊输入映射到模糊输出。推理机制:通过规则的模糊化和模糊集合的合成,生成模糊输出。去模糊化:将模糊输出转换为具体的控制信号,常用的方法包括质心法和最大隶属度法。这些步骤综合起来,实现了模糊控制系统对复杂和不确定系统的有效控制。模糊控制系统通过结合模糊逻辑和规则库来处理复杂系统中的不确定性和模糊性。它的核心在于模糊集合和隶属函数,通过推理机处理模糊规则,并最终通过去模糊化生成具体的控制信号。

qq_35623594的博客 5561

Claude Code 安装指南(Windows / macOS)

本文介绍了Claude Code的安装准备和基本流程。作为开发者工具,安装前需具备命令行操作能力、可用的Claude账号和稳定网络环境。Windows和macOS的安装都需通过终端完成,安装后以命令行形式运行。首次使用建议在熟悉项目中执行简单任务,逐步建立使用习惯。强调安装只是开始,后续需学习如何有效使用工具,包括任务提交流程和上下文提供方法。核心要点是:Claude Code是开发者工具,网络和终端环境是关键,建议先运行再深入理解。

sg_knight的专栏 4498

还不会使用分布式锁?从零开始基于 etcd 实现分布式锁

为什么需要分布式锁?在单进程的系统中,当存在多个线程可以同时改变某个变量时,就需要对变量或代码块做同步,使其在修改这种变量时能够线性执行消除并发修改变量。而同步本质上通过锁来实现。为了实现...

aoho求索 726

数据分析案例-顾客购物数据可视化分析

本数据集来源于kaggle,原始数据集共有99457条,10个特征变量,各变量含义解释如下:Invoice_no:发票编号。标称。字母“I”和唯一分配给每个操作的 6 位整数的组合。customer_id:客户编号。标称。字母“C”和唯一分配给每个操作的 6 位整数的组合。gender:客户性别的字符串变量。age:顾客年龄的正整数变量。category:所购买产品的类别的字符串变量。quantity:每笔交易的每种产品(商品)的数量。数字。price:单价。数字。

m0_64336780的博客 1万+

阿里十年架构师教你怎么从零开始学习分布式锁

锁的概述 分布式锁 分布式锁其实可以理解为:控制分布式系统有序的去对共享资源进行操作,通过互斥来保持一致性。 举个不太恰当的例子:假设共享的资源就是一个房子,里面有各种书,分布式系统就是要进屋看书的人,分布式锁就是保证这个房子只有一个门并且一次只有一个人可以进,而且门只有一把钥匙。然后许多人要去看书,可以,排队,第一个人拿着钥匙把门打开进屋看书并且把门锁上,然后第二个人没有钥匙,那就等着,...

weixin_44174165的博客 279

ERROR conda.core.link:_execute(502): error occurred while installing conda-forge::setuptools 解决方案

本文主要介绍了ERROR conda.core.link:_execute(502): An error occurred while installing package mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge::setuptools-65.5.1-pyhd8ed1ab_0.FileNotFoundError(2, 系统找不到指定的文件。, None, 2) 解决方案,希望能对新手有所帮助。 文章目录 1. 问题描述 2. 解决方案

weixin_43178406的博客 8万+

黑猫带你学UFS协议第13篇:UFS初始化详解(Boot Operation)

本文详细解析了UFS设备的初始化过程,包括部分初始化、加载启动代码(可选)和初始化完成三个阶段。重点介绍了如何通过设备描述符和逻辑单元描述符配置引导特性,以及如何从UFS设备加载启动代码。内容适用于嵌入式硬件和存储领域的开发者。

黑猫奥利奥的博客 3556

从零开始SpringCloud Alibaba电商系统(十五)——互斥锁的概念、分布式锁的实现

文章目录零、系列一、互斥锁二、Java中的锁synchronizedReentrantLock三、分布式锁四、demo地址 零、系列 欢迎来嫖从零开始SpringCloud Alibaba电商系列: 从零开始SpringCloud Alibaba电商系统(一)——Alibaba与Nacos服务注册与发现 从零开始SpringCloud Alibaba电商系统(二)——Nacos配置中心 从零开始SpringCloud Alibaba电商系统(三)——Sentinel流量防卫兵介绍、流量控制demo 从零开

D的博客 1679

性能调优秘籍——让OpenClaw运行速度提升10倍(2026优化版)

OpenClaw性能优化核心摘要 本文详细介绍了提升OpenClaw系统性能的关键技术,包括: 使用性能分析器进行代码级性能诊断 内存优化与高效缓存策略 并发处理优化技术 数据库查询性能提升方法 重点内容包括: 全面的性能分析工具实现(计时、内存监控、错误跟踪) 自动生成性能报告和优化建议 操作耗时与内存占用分析算法 关键性能指标(平均耗时、内存增长)计算 通过系统性的性能分析优化,可使OpenClaw运行速度提升10倍以上。

博客 903

分布式锁实战:从Redis到ZooKeeper,详解原理、选型与生产避坑

在分布式系统中,并发控制是保障数据一致性的核心技术之一。其核心原理是通过一种协调机制,确保在分布式环境下,对共享资源的访问具有排他性,从而避免数据竞争和状态混乱。这一技术对于构建高可靠、高可用的分布式架构具有重要价值,广泛应用于电商库存扣减、金融交易处理、分布式任务调度等关键场景。本文聚焦于实现这一目标的主流技术方案,深入剖析基于Redis和ZooKeeper等中间件的分布式锁实现细节,并针对锁续期、集群可靠性等生产环境中的常见挑战,提供具体的工程实践指导和避坑策略。

weixin_34318326的博客 818

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

蚂蚁金服十年架构师教你怎么从零开始学习分布式锁

锁的概述 分布式锁 分布式锁其实可以理解为:控制分布式系统有序的去对共享资源进行操作,通过互斥来保持一致性。 举个不太恰当的例子:假设共享的资源就是一个房子,里面有各种书,分布式系统就是要进屋看书的人,分布式锁就是保证这个房子只有一个门并且一次只有一个人可以进,而且门只有一把钥匙。然后许多人要去看书,可以,排队,第一个人拿着钥匙把门打开进屋看书并且把门锁上,然后第二个人没有钥匙,那就等着,等第一个...

qwe123147369的博客 482

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

Zookeeper分布式锁原理

前言 Zookeeper可能会同时被多个线程访问,这样会造成资源管理的混乱,所以就需要锁。由于是在分布式环境下,所以叫分布式锁。只有拿到分布式锁的客户端才可以访问处理Zookeeper上的资源。 分布式锁的原理 当线程访问Zookeeper时,会创建一个临时顺序节点。在Zookeeper中,顺序节点的名字后缀会被加上编号,从零开始顺序叠加。 此时判断创建的这个节点编号是不是当前最小的,如果是,则表示获取到了锁,然后执行相应的任务。 如果不是最小的,则进入等待通知的状态,并监听(listen)或监视(wat

BIG_Ribbit的博客 972

Outlook Express 6 (OE6) for Win7/Win8/Win10

英文版 Outlook Express6.0, 兼容Win7/Win10/WinXP,解压就可用。

从零开始java多线程到分布式锁(十四):分布式锁的讨论

一:分布式锁 首先,我们在前面讨论了锁存在的意义:是为了解决数据共享性和互斥性冲突的一种解决方案,就是实现数据“最终一致性”。现在我们讨论一下为什么要用分布式锁的原因: 1.项目架构的演变(这里我们主要讨论服务应用层) (1)常见小型企业---垂直单体应用 其实主要还是应用的复杂度设计问题。这种设计应用从上而下,开发、部署以及维护都很方便,但是无法应对日益增加的...

qq_35755863的博客 246

还不会使用分布式锁?教你三种分布式锁实现的方式

摘要:在单进程的系统中,当存在多个线程可以同时改变某个变量时,就需要对变量或代码块做同步,使其在修改这种变量时能够线性执行消除并发修改变量,而同步本质上通过锁来实现。

华为云官方博客 1948
上一篇: 常见的错误 SQL 用法,你中招了吗?
下一篇: Spring Framework 常犯的十大错误,你犯错了没?
加班不秃顶
博客等级 码龄7年 1822粉丝 599原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值