
分布式
昨日的桥
这个作者很懒,什么都没留下…
展开
-
ZooKeeper中的数据同步
数据同步的过程就是Leader服务器将那些没有在Learner服务器上提交过的事物请求同步给Learner服务器。ZooKeeper集群数据同步通常分为四类,分别是直接差异化同步(DIFF同步)、先回滚再差异化同步(TRUNC + DIFF同步)、仅回滚同步(TRUNC同步)和全量同步(SNAP同步)。peerLastZxid:该Learner服务器最后处理的ZXID。minComm...原创 2020-01-01 20:23:46 · 1220 阅读 · 0 评论 -
ZooKeeper中的Leader选举
一、Leader选举流程1、每个Server会发出一个投票投票的形式为(SID, ZXID)。其中,SID为所推举的服务器的id,ZXID为所推举的事务ID。2、接收来自各个服务器的投票3、处理投票优先检查ZXID。ZXID比较大的服务器优先作为Leader。如果ZXID相同的话,那么就比较SID,SID比较大的服务器作为Leader。4、统计投票每次投票后,服务器都会统计所有投票...原创 2020-01-01 20:19:35 · 119 阅读 · 0 评论 -
ZooKeeper中的数据类型、节点类型和Watcher
一、数据模型ZNode是ZooKeeper中数据的最小单元,每个ZNode上都可以保存数据,同时可以过载子节点,因此构成了一个层次化的命名空间,也就是树。广义上来讲,事务是对物理和抽象的应用状态上的操作集合。(《事务处理:概念与技术》),从狭义上讲,事务就是指数据库事务,具有ACID特性,即原子性(Atomic)、一致性(Consistency)、隔离性(Isolation)和持久性(Dura...原创 2020-01-01 20:13:05 · 784 阅读 · 0 评论 -
ZooKeeper在Dubbo中的应用
Dubbo是阿里巴巴开源的一个由Java语言编写的分布式服务框架,核心部分包括以下三块:远程通信、集群容错、自动发现。其中Dubbo中的服务注册中心是基于ZooKeeper实现的,工作流程如下:1、服务提供者服务提供者在初始化启动的时候,会首先在ZooKeeper的/dubbo/com.foo.BarService/providers节点下创建一个子节点,并写入自己的URL地址。2、服务消费...原创 2020-01-01 19:39:51 · 168 阅读 · 0 评论 -
ZooKeeper在Hadoop和Kafka中的应用
ZooKeeper被越来越广泛地应用在大型分布式系统中,比如Hadoop、HBase和Kafka等。以下主要介绍一个ZooKeeper在Hadoop和Kafka中的应用。01、Hadoop1、ZooKeeper在Hadoop是什么作用?在Hadoop中,ZooKeeper主要用于实现HA(High Availability),这部分逻辑主要集中在Hadoop Common的HA模块中,HDF...原创 2019-12-31 16:39:20 · 1263 阅读 · 0 评论 -
ZooKeeper的典型应用场景
ZooKeeper是一个典型的发布/订阅模式的分布式数据管理与协同框架,通过对ZooKeeper丰富的数据节点类型进行交叉使用,配合Watcher事件通知机制,可以构建一系列分布式应用中都会涉及的核心功能,如数据分布/订阅、负载均衡、命名服务、分布式协调/通知、集群管理、Master选举、分布式锁和分布式队列等。01、数据发布/订阅数据发布/订阅(Publish/Subscribe)系统,即所...原创 2019-12-30 22:02:14 · 385 阅读 · 0 评论