Zookeeper

hbase 访问zookeeper的问题 坑 1、 Configuration config = HBaseConfiguration.create(); 书上说是会自动加载hbase-site.xml里面配置的zookeeper 配置 但是实际上是访问的是localhost本地的zookeeper2181端口 2、因此如果本地不是zookeeper server 的话就无法访问hbase 了 3、解决办法通过参数传给程序 例子: 阅读详情

概述

Zookeeper从设计模式角度来理解:是一个基于观察者模式设计的分布式服务管理框架,它负责存储和管理大家都关心的数据,然后接受观察者的注册,一旦这些数据的状态发生变化,Zookeeper就 将负责通知已经在Zookeeper上注册的那些观察者做出相应的反应。

可以理解为Zookeeper是一个用于存储少量数据的基于内存的数据库,主要有如下两个核心的概念:文件系统数据结构+监听通知机制。

特点

Zookeeper:一个领导者(Leader),多个跟随者(Follower)组成的集群。

集群中只要有半数以上节点存活,Zookeeper集群就能正常服务。所 以Zookeeper适合安装奇数台服务器。

全局数据一致:每个Server保存一份相同的数据副本,Client无论连接到哪个Server,数据都是一致的。

更新请求顺序执行,来自同一个Client的更新请求按其发送顺序依次执行。

数据更新原子性,一次数据更新要么成功,要么失败。

实时性,在一定时间范围内,Client能读到最新数据。

文件系统数据结构

Zookeeper维护一个类似文件系统的数据结构: 整体上可以看作是一棵树,每个节点称做一个 ZNode(目录节点),和文件系统类似,我们能够自由的增加、删除 znode,在一个znode下增加、删除子znode,每一个ZNode 默认能够存储 1MB 的数据,每个ZNode 都可以通过其路径唯一标识。

znode的类型:

1、PERSISTENT­持久化目录节点:客户端与zookeeper断开连接后,该节点依旧存在,只要不手动删除该节点,他将永远存在

2、 PERSISTENT_SEQUENTIAL­持久化顺序编号目录节点:客户端与zookeeper断开连接后,该节点依旧存在,只是Zookeeper给该节点名称进行顺序编号

3、EPHEMERAL­临时目录节点:客户端与zookeeper断开连接后,该节点被删除

4、EPHEMERAL_SEQUENTIAL­临时顺序编号目录节点:客户端与zookeeper断开连接后,该节点被删除,只是Zookeeper给该节点名称进行顺序编号

5. Container 节点(3.5.3 版本新增,如果Container节点下面没有子节点,则Container节点 在未来会被Zookeeper自动清除,定时任务默认60s 检查一次)

6. TTL 节点( 默认禁用,只能通过系统配置 zookeeper.extendedTypesEnabled=true 开启,不稳 定)

监听通知机制

客户端注册监听它关心的任意节点,或者目录节点及递归子目录节点

1. 如果注册的是对某个节点的监听,则当这个节点被删除,或者被修改时,对应的客户端将被通知

2. 如果注册的是对某个目录的监听,则当这个目录有子节点被创建,或者有子节点被删除,对应的客户端将被通知

3. 如果注册的是对某个目录的递归子节点进行监听,则当这个目录下面的任意子节点有目录结构的变化(有子节点被创建,或被删除)或者根节点有数据变化时,对应的客户端将被通知。

注意:所有的通知都是一次性的,及无论是对节点还是对目录进行的监听,一旦触发,对应的监听即被移除。递归子节点,监听是对所有子节点的,所以,每个子节点下面的事件同样只会被触发一次。

集群

集群模式一共有三种类型的角色

Leader: 处理所有的事务请求(写请求),可以处理读请求,集群中只能有一个Leader

Follower:只能处理读请求,同时作为 Leader的候选节点,即如果Leader宕机,Follower节点 要参与到新的Leader选举中,有可能成为新的Leader节点。

Observer:只能处理读请求。不能参与选举

选举机制

当ZooKeeper集群中的一台服务器出现以下两种情况之一时,就会开始进入Leader选举:

1,服务器初始化启动。

2,服务器运行期间无法和Leader保持连接。

而当一台机器进入Leader选举流程时,当前集群也可能会处于以下两种状态:

1,集群中本来就已经存在一个Leader。

对于第一种已经存在Leader的情况,机器试图去选举Leader时,会被告知当前服务器的Leader信息,对于该机器来说,仅仅需要和Leader机器建立连接,并进行状态同步即可。

2,集群中确实不存在Leader。

假设ZooKeeper由5台服务器组成:

(1)服务器1启动,发起一次选举。服务器1投自己一票。此时服务器1票数一票,不够半数以上(3票),选举无法完成,服务器1状态保持为LOOKING; (2)服务器2启动,再发起一次选举。服务器1和2分别投自己一票并交换选票信息:此时服务器1发现服务器2的myid比自己目前投票推举的(服务器1)大,更改选票为推举服务器2。此时服务器1票数0票,服务器2票数2票,没有半数以上结果,选举无法完成,服务器1,2状态保持LOOKING(3)服务器3启动,发起一次选举。此时服务器1和2都会更改选票为服务器3。此次投票结果:服务器1为0票,服务器2为0票,服务器3为3票。此时服务器3的票数已经超过半数,服务器3当选Leader。服务器1,2更改状态为FOLLOWING,服务器3更改状态为LEADING;(4)服务器4启动,发起一次选举。此时服务器1,2,3已经不是LOOKING状态,不会更改选票信息。交换选票信息结果:服务器3为3票,服务器4为 1票。此时服务器4服从多数,更改选票信息为服务器3,并更改状态为FOLLOWING; (5)服务器5启动,同4一样当小弟。

选举Leader规则:

第一次启动:投票过半数时,服务器id大的胜出

第二次启动:

①EPOCH大的直接胜出

②EPOCH相同,事务id大的胜出

③事务id相同,服务器id大的胜出

SID:服务器ID。用来唯一标识一台ZooKeeper集群中的机器,每台机器不能重复,和myid一致。

ZXID:事务ID。ZXID是一个事务ID,用来标识一次服务器状态的变更。在某一时刻,集群中的每台机器的ZXID值不一定完全一致,这和ZooKeeper服务器对于客户端“更新请求”的处理逻辑有关。

Epoch:每个Leader任期的代号。没有Leader时同一轮投票过程中的逻辑时钟值是相同的。每投完一次票这个数据就会增加

分布式锁

好书分享:Control and Estimation with MATLAB(5th Edition)pdf 基于MATLAB的控制与估计》(第5版)由八章组成,包括控制算法和设计。主要内容包括状态估计和数据平滑、RLS和卡尔曼滤波器状态估计、控制系统设计、自适应控制和PID。书中的概念已经使用MATLAB和Simulink实现。提供了可下载的MATLAB和Simulink文件。适合人群:大学生、研究生、控制类工程研究人员。需要电子版pdf,回复索取。 阅读详情

相关推荐

使用 STM32F7 和 TensorFlow Lite 开发低功耗人脸识别设备

我们讨论了 STM32F7 的特点和能力,TensorFlow Lite 在 STM32F7 上的应用,以及一些降低功耗的优化技术。- 准备模型:选择合适的人脸识别模型,在 TensorFlow 中进行训练和导出,并使用 TensorFlow Lite 转换为适用于 STM32F7 的量化模型。请注意,上述代码仅展示了如何加载和运行 TensorFlow Lite 模型的方法,实际应用中需要集成人脸检测和识别模型,并根据实际需求进行相应的输入和输出处理。结合这两个工具,我们可以开发出低功耗的人脸识别设备。

weixin_66608063的博客 2589

一分钟读懂zookeeper

zookeeper经常被称作基础设施,kafka与dubbo这些都需要安装zookeeper的前提下才能运行,业务开发中也经常作为分布式锁的解决方案被应用,今天我们就来了解下zookeeper。

lcyForest的博客 99

【论文精度】生成式预训练模型——BART(Bidirectional and Auto-Regressive Transformers)

​ BART是一个预训练的seq2seq的去噪自编码(denoising autoencoder)模型,BART以下方式进行训练①用任意的噪声函数(noising function)去破坏文本;②学习一个模型来重建原始文本。它使用一个标准的基于transformer的神经机器翻译架构,可以看作是BERT(双向编码器)、GPT(left-to-right解码器)以及其他预训练方案的推广。

weixin_45828972的博客 7450

【Zookeeper】Windows下安装Zookeeper(全面)

【Zookeeper】Windows下安装Zookeeper(全面)

weixin_57259781的博客 1万+

Python逆向爬取Tik Tok,MsToken,X-Bogus以及signature

tiktok作为字节海外的自媒体平台,具有很非常大的价值,本文旨在教会大家实现Tik Tok的签名获取以及数据的最终爬取。

weixin_74305707的博客 3273

AURIX TC397开发板到手第一步:用iLLD库驱动LED流水灯(附完整代码)

本文详细介绍了如何使用英飞凌AURIX TC397开发板和iLLD库实现LED流水灯效果。从开发环境配置到硬件连接,再到完整的代码实现,逐步引导开发者完成项目。文章还提供了优化建议和常见问题解决方案,帮助嵌入式开发新手快速上手。

weixin_30911451的博客 394

ZooKeeper 安装完整版——ZooKeeper3.4.6

@羲凡——只为了更好的活着 ZooKeeper 安装完整版——ZooKeeper3.4.6 1.下载地址如下: https://archive.apache.org/dist/zookeeper/zookeeper-3.4.6/ 2.安装 第1步:在deptest3 机器的 /usr/local/package 目录下解压 zookeeper-3.4.6.tar.gz tar -zxf zook...

@羲凡—只为更好的活着 1万+

从虚拟机到双系统:手把手教你为Gromacs搭建最强Linux环境(含WSL2、Ubuntu22.04配置)

本文详细指导如何在Windows系统下为Gromacs分子动力学模拟搭建高性能Linux环境,涵盖WSL2和Ubuntu22.04双系统配置。通过对比虚拟机、WSL2和原生Linux的性能数据,提供GPU加速、内存优化等实用技巧,帮助科研人员提升计算效率。

weixin_30861797的博客 271

Zookeeper 和 SASL

关键字:Zookeeper 和 SASL 介绍 这是一个描述ZooKeeper和SASL(Simple Authentication and Security Layer)整合建议的设计文档。 JIRA 和 源代码 JIRA问题ZOOKEEPER-938,来自JIRA的可用补丁。 请注意:这个JIRA文章只描述了客户端-服务器的相互认证。服务器-服务器的相互认证存在单独的JIRA:Z...

赵士杰的博客 5212

【系列06】端侧AI:构建与部署高效的本地化AI模型 第5章:模型剪枝(Pruning)

结构化剪枝移除的是模型中的整个结构,比如一个完整的神经元、一个卷积核或一个通道。修剪后的模型权重矩阵仍然是稠密的,因此能够充分利用现代硬件和软件的并行计算优势,从而显著提升推理速度。非结构化剪枝是最细粒度的剪枝方法。对于需要极致压缩但对推理速度要求不高的场景,非结构化剪枝是好的选择。它就像修剪一棵树,通过移除模型中不必要的“枝叶”,让模型变得更精简、更高效,从而适应资源受限的设备。,开发者可以方便地对模型的不同层进行剪枝,并根据需求进行微调,从而在不影响太多性能的前提下,获得一个更轻量、更高效的模型。

学习,输出==》再学习再输出 650

python批量调用大模型API:多线程和异步协程

本文介绍了利用多线程技术批量调用大模型API的实现方法。核心是通过并发请求提高处理效率,主要采用线程池管理并发数量、结果聚合等技术。文章提供了一个完整的Python实现示例,包含APIBatchCaller类及其single_api_call和batch_call方法,详细解析了并发控制、错误处理等关键点,并给出了使用注意事项,包括并发数设置、重试策略和超时处理等。该方案特别适合IO密集型任务,能显著提升批量API调用的效率。

Cachel Wood的博客 760

【Zookeeper】Zookeeper入门解析

一、ZooKeeper概述 1.Zookeeper简介 (1)Zookeeper是一个分布式协调服务的开源框架。主要用来解决分布式集群中应用系统的一致性问题 (2)ZooKeeper本质上是一个分布式的小文件存储系统。提供基于类似于文件系统的目录树方式的数据存储,并且可以对树中的节点进行有效管理。从而用来维护和监控你存储的数据的状态变化。通过监控这些数据状态的变化,从而可以达到基于数据的集群...

Together 7213

【论文复现】——基于欧式聚类的车载点云道路提取

针对车载激光点云道路信息提取的问题,提出了一种基于欧式聚类的道路提取方法。首先通过统计滤波去除噪点以免对后续处理结果产生影响,然后用坡度滤波去除路坎点,使道路边界与人行道、绿化带等与路坎相连的地物形成10~25 cm的高程阶跃,最后用欧式聚类将路面点云与其他地物点云聚类为一簇或多簇并保留道路簇,从而实现道路点云的精确提取。

点云侠的博客 1135

Zookeeper【安装篇】01:Zookeeper【单机】【手动】安装部署

Zookeeper【单机】【手动】安装部署

weixin_40612128的博客 5459

Devexpress16.2.6破解工具

Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具

Data-Structures-and-Algorithm-Analysis-in-Java.pdf

作者: Weiss, Mark A. 出版社: Addison Wesley Data Structures and Algorithm Analysis in Java is an “advanced algorithms” book that fits between traditional CS2 and Algorithms Analysis courses. In the old ACM Curriculum Guidelines, this course was known as CS7. This text is for readers who want to learn good programming and algorithm analysis skills simultaneously so that they can develop such programs with the maximum amo...

设置Zookeeper开机自启

首先在 /etc/init.d/ 目录下创建启动文件 zookeeper: 写入内容: #!/bin/bash # chkconfig: 2345 20 90 # description: zookeeper source /etc/profile case $1 in start) su - hadoop -c "${ZOOKEEPER_HOME}/bin/zkServer.sh start" if [ "$?" = "0" ] then echo "zookeeper is r

少弋弋的专栏 1261

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

Python Zookeeper 注册和发现服务

#!/usr/bin/env python # -*- coding: utf-8 -* import time import random import logging from kazoo.client import KazooClient from kazoo.exceptions import NodeExistsError from kazoo.client import Kazoo...

Through Da Storm 3282

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

ZooKeeper集群安装

目录JDK安装Zookeeper集群安装 ZooKeeper(动物园管理者)简称 ZK,是一个分布式的,开放源码的分布式应用程序协调服务组件,它的应用场景如下: 1、服务注册 2、分布式锁 3、配置管理 4、集群Master 选举 安装zookeeper集群,本文环境信息说明如下:系统CentOS7IP192.168.136.128hostnamexjw128jdk版本jdk1.8.0_181zookeep

xujinwei_gingko的专栏 1366

zookeeper安装教程

zookeeper安装教程

m0_64825044的博客 1466

Zookeeper搭建集群

Zookeeper集群环境搭建 1.每台服务器节点上安装jdk1.8环境 使用java -version命令测试 java -version 2.每台服务器节点上安装Zookeeper 1.下载并且安装zookeeper安装包 wget https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/zookeeper-3.4.10/zookeep...

qq_39380737的博客 2656

Apache Zookeeper :安装zookeeper步骤

前提 安装zookeeper的注意事项: 安装前需要安装好jdk 检测集群时间是否同步 检测防火墙是否关闭 检测主机 ip映射有没有配置 下载 下载安装包、解压 下载地址: CDH版本:http://archive.cloudera.com/cdh5/cdh/5/zookeeper-3.4.5-cdh5.14.0.tar.gz apache版本:https://archive.apache.o...

4888

zookeeper 安装

安装 Hbase的Master需要zookeeper的支持,所以在集群上安装zookeeper。 将zookeeper下载解压到指定的文件夹,修改以下配置后分发到其它的节点。 修改zoo.cfg 这里主要添加了data和logs的路径以及三个服务器ip和端口 tickTime=2000 dataDir=/usr/local/zookeeper/zookeeper-3.4.5/data dataLo...

得克特 826

Zookeeper中解决zookeeper.out文件输出位置问题

使用过 Zookeeper 的小伙伴都知道,Zookeeper 中运行日志 zookeeper.out 文件的输出路径默认为启动脚本的当前路径,导致Zookeeper 集群启动失败想看日志时总是不记得输出日志在哪儿,不方便查看日志文件,所以需要修改日志输出位置及方式,方便查看日志。......

qq_45124566的博客 2720

Docker安装Zookeeper

Docker安装Zookeeper1. 创建主机挂载配置文件2. 生成启动文件 start.sh3. 运行start.sh 启动zookeeper4. 连接zookeeper 1. 创建主机挂载配置文件 [root@wanfei ~]# mkdir -p ~/i/apps/zookeeper/{logs,data} [root@wanfei ~]# cd ~/i/apps/zookeeper/ [...

wnfff的博客 1436

Linux 安装Zookeeper以及zookeeper启动失败的原因解决

首先我们需要准备一个Zookeeper的安装包,Zookeeper安装包可以去这里下载 https://mirrors.bfsu.edu.cn/apache/zookeeper/ 可以点这里直达:zookeeper下载 这里我们下载最新版的3.7.0版本的Zookeeper版本 这里注意:选择带bin的压缩包,这里先做下铺垫。后续我会说为什么要选择这个带bin 的压缩包。然后下载,下载好了之后,我们把这个压缩包拷贝到Linux系统,然后将这个压缩包复制到/usr路径,或者你们想要放的路径,笔者比较懒,

qq_16733389的博客 6957

windows10安装zookeeper-3.6.2并生成zookeeper服务

windos10安装zookeeper-3.6.2,并且注册成系统服务使用方法

weixin_41576278的博客 1782

Hue(五)集成Zookeeper

将zookeeper集成到Hue通过Hue的Web界面来查看和操作zookeeper中的znode。

人是有思想的芦苇 4180
上一篇: Linux
下一篇: RabbitMQ
jisf4296
博客等级 码龄8年 143粉丝 26原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值