zookeeper

hbase 访问zookeeper的问题 坑 1、 Configuration config = HBaseConfiguration.create(); 书上说是会自动加载hbase-site.xml里面配置的zookeeper 配置 但是实际上是访问的是localhost本地的zookeeper2181端口 2、因此如果本地不是zookeeper server 的话就无法访问hbase 了 3、解决办法通过参数传给程序 例子: 阅读详情
1 ZooKeeper
    它是一个为分布式协调服务,那么它提供了一个分布式锁服务,用以协调其他分布式的应用。
    它是Google的Chubby一个开源的实现,Google的项目一般不开源,因为开源后别人也用不了,它的服务节点都非常之大

2    在不知道 ZooKeeper 内部机制的情况下
    很多技术都依赖于zookeeper 动物管理员,而其他技术都有动物与之对应
    做分布式移植性、高可用
    案例1 基于zookeeper  rmi高可用
    案例2 基于zookeeper  redis高可用  redis 3.0后有了自己的高可用
    案例3 分布式锁的实现
    
3   大部分分布式应用都需要 1 主控 2 协调器(控制器)来管理分布的子进程(资源即存储--例如一般元数据
    为了协调一致性,一般都放到zookeeper里,任务分配即计算)
    
4    优点
    1 最终一致性。
        例如:有3台机器安装了zookeeper,每一个客户端登录时,看到的是同一个视图
              当有其中一台数据被更新时,其他两台会定时的去同步数据,注意不是实时的,因此叫做最终一致性
              如果需要最新的数据,应该在读取数据之前调用 sync()接口
    2    各个客户端相互独立
    3   原子性,对于整个集群来说(3台),要么全部更新成功,要么全部更新失败,不会有中间状态
    4    顺序性,对于client端,先请求,先处理。因zk采用了递增的事务id号(zxid)来保证
    
5    zookeeper工作原理
    1    zookeeper在启动时从磁盘加载到内存,为提高处理速度 每个server都存有一份数据
    2    zookeeper启动时,将从实例中选举一个leader(主),其他的就变为了follower。怎么选举呢,paxos
    3   leader负责数据的更新操作 由leader发起投票
    4    当大多数server在内存中修改数据成功,才算操作成功
    
6    先说一下 Paxos
    它是一个基于消息传递的致性算法,还被认为是 到目前止唯一的分布式致性算法,其他的算法也都是他基础上改进或简化
    
    Paxos 所要注意的点
    1 当提案的编号大于我手上的编号就默认同意,投赞成票
    2 有一个议员发 了一个提议:将电费设定为 1元/度。
    小岛--ZK Server Cluster   议员--zkServer     提议--ZNode(文件夹)增删改,注意 查看则不是提议
    提议编号(PID)--Zxid(Zookeeper Transaction Id)自增 发起提议时会对应一个PID    正式法令--所有ZNode及数据 ,更新内存中的数据
7    Leader角色
    解决冲突(两个PID相同,必然产生冲突)  例如 当两个人同时提出 1(PID)号提议时,由上面分析,只是生效了1个提议,而另一个人的提议就被拒绝了
    那么,由于人人平等,这时就产生一个“活锁” (大家都没死都在动,但一直解决不了冲突问题)。必须有个总统leader
    来提出


10    zookeeper的leader挂了后,它会自己选举出 leader,解决单点故障。自己对自己是高可用
    当我有偶数台时,例如:
    3台(LFF)(半数是1.5台) 也就说得保证有2台正常运行
    4台(LFFF)(半数是两台),也就说得保证有3台正常运行
    发现,当同样都是L挂掉后,从高可用角度分析2者可以实现样的效果,所以没必要多出一台
    
11    在zookeeper的配置文件 zoo.cfg 中
    server.1=server1:2888:3888
    server.A=B:C:D:
    2888 表示的是这个服务器与集群中的Leader 服务器交换信息的端口;例如监控 flower的状态
    3888 表示的是万一集群中的Leader 服务器挂了,需要一个端口来重新进行选举,选出一个新的Leader,而这个端口就是用来执行选举时服务器相互通信的端口
    tickTime:发送心跳的间隔时间,tickTime=2000 单位:毫秒
    dataDir:zookeeper保存数据的目录。启动时加载到内存,定期存储到磁盘 dataDir=/Users/zdandljb/zookeeper/data
    clientPort:客户端连接Zookeeper 服务器的端口,Zookeeper 会监听这个端口,接受客户端的访问请求。 clientPort=2181
    initLimit:这个配置项是用来配置Zookeeper在初始化时去连接Follower,若发现隔了5*2000=10 秒秒了还没有收到Follower服务器心跳的心跳,那么我就认为连接失败。
    syncLimit:这个配置项标识Leader 与Follower 之间发送消息,若在请求和应答时,过了2*2000=4 秒还没有收到,则认为Leader挂掉了。那么它就会去选举,但是这时
    其他flower连接正常,那么其他flower事不会去选举的
    
12    查看zookeeper的角色  /home/zookeeper-3.4.6/bin zkServer.sh status
    注意 谁是leader 谁先启动起来
    zookeeper集群自己是高可用的
    我们leader kill掉后,剩余两台,在这两台里谁先发现 leader挂掉后,它就会投票推举自己当 leader

13  zookeeper 的角色
    1 Leader角色
    2 follower 从
    3 Observer 记者 ,不参与投票,Observer可以接受客户端的读取数据请求,增删改的请求要转发给leader,
    Observer是zookeeper的新特性,但用的不多
    
    若一个集群里出现10台 zookeeper时,那么说明 及群里会有上千台服务节点来运算
    集群里的服务器(不包括observer)要超过有效(不包括observer)服务器的半数 活着 这个集群正常
    注意有3个角色,
    
    leader里也会维护一个队列,所有的议案都会放到队列里,是否发出议案由 leader决定,每一个议案都有一个PID,
    每一个PID对应一个 zxid 事物id(自增)

14    zookeeper 集群一般会独立存在,其他集群会 1用zookeeper来实现高可用 2 用zookeeper是存放元数据
    (因为zookeeper本身也是高可用,而且又是分布式的,可以保持数据的最终一致性)
    
15  Zookeeper的核心是原子广播,这个机制保证了各个Server之间的同步。
    实现这个机制的协议叫做Zab协议。Zab协议有两种模式,它们分别是恢复模式(选主)和广播模式(同步)。
    
    paxos协议是为了实现选举,选举的目的是为了解决冲突,议案转为都由leader发出
    zookeeper 的选主过程使用paxos,数据复制使用Zab
    
16    如果网络不段的情况下 leader去更新 follower中数据一般都会成功的
    当被挂的机子重新起来的时候,会先去同步leader中的数据
    
17  为什么必须要有半数以上的机器把数据更新成功才算成功,因为它是为了保证,万一leader挂掉后,至少还有半数以上机器拥有最新的数据
    
18    zxid 是为了 在znode在增删改时事务。zookeeper里管每条数据为znode节点
    ZooKeeper状态的每一次改变, 都对应着一个递增的Transaction id, 该id称为zxid.
  
    
19  注意znode和目录的区别是 它本身也可以写数据  
    cli.sh   ls /     -h
    create /20160422 helloword!!!
    get /20160422
    cZxid = 0x4900000002  create的时候,create这个事务的id    0x49表示leader
    ctime = Fri Apr 22 11:33:59 CST 2016
    mZxid = 0x4900000002  修改的事务id
    mtime = Fri Apr 22 11:33:59 CST 2016
    pZxid = 0x4900000002
    cversion = 0
    dataVersion = 0
    aclVersion = 0
    ephemeralOwner = 0x0
    dataLength = 12
    numChildren = 0

    create /20160422/curry currycontent!!
    get /20160422
    set /20160422/curry currsafsa!!
    cZxid = 0x4900000003  事务id加1
20  注意leader重新选择后 mZxid统统改成0

21  Znode有两种类型,短暂的(ephemeral)和持久的(persistent),默认是 persistent
    创建节点时的两种类型  断开连接超过 设置的时间后,如果该节点是 ephemeral,则删除
    
22  zookeeper的watcher会监控 zookeeper的znode节点,一个znode对应一个watcher
    zkfc就相当于zookeeper的客户端,当namenode启动后,zkfc会在zookeeper中建立一个临时 znode节点,
 

23  yarn是mapreduce的资源调度框架。resourceManager和zkfc是zookeeper客户端

24  案例
    用zookeeper对3个 基于RMI协议服务的高可用的底层实现。
    思路:
        把3个server的url地址存到zookeeper中
        client 不去直接找server,它去找zookeeper,去里面去可用的url
        client再去连 server
    Dubbox里面无非就是封装了各种各样的协议,然后全帮做了一个高可用
    
    zookeeper做分布式移植性
    
26    案例 zookeeper的分布式锁
    假设有100服务器,user1 user2 两个用户。谁获得了分布式锁,谁就可以控制这个集群
    用zookeeper来实现分布式锁
        zookeeper作用
        1  自己高可用
        2  znode节点(4中类型)
        3  在znode节点上提供一个watcher
        4  提供了一个java类
    zookeeper的选举只是自己leader的选举,而不是对其客户端的选举
    对于分布式锁,zookeeper创建一个分布式锁,然后让客户端按顺序的来获取分布式锁
    1  客户端要排队,首先应在zookeeper中创建一个节点,证明你来排队了
    2  获取到这个队列,判断是否在第一个,是就得到锁,不是则监控排在自己前面的那个节点(也就是往它身上放个 watcher
    然后就是等待watcher给你发消息)
    watcher发送消息只会发一次,如果你想要一直检测则需要在发消息时再注册一次
从零打造M328晶体管测试仪:硬件DIY与烧录避坑指南 本文是一份详尽的M328晶体管测试仪DIY指南,涵盖从硬件选型、PCB设计、焊接组装到固件烧录的全过程。重点解析了使用AVR单片机与Arduino IDE环境时,如何正确设置熔丝位以避免“白屏”等常见问题,并提供了使用ISP编程器进行烧录的实操步骤与校准方法,帮助电子爱好者成功打造属于自己的高性价比元件测试工具。 阅读详情

相关推荐

OpenHarmony自定义Launcher

OpenHarmony源码版本:4.0release开发板:DAYU / rk3568DevEco Studio版本:4.0.0.600切换分支为OpenHarmony-4.0-Release,并下载源码。

Abner_Crazy的博客 1630

ZooKeeper的作用、应用场景和替代品

ZooKeeper 我想大家应该都略有耳闻,可能你在开发中没有直接使用过,但常用的 Hadoop、HBase、Kafka、Dubbo 等都有使用到 ZooKeeper。那 ZooKeeper 到底起到了什么样的作用,为什么这些框架、系统需要使用 ZooKeeper呢,我们在开发过程中应该如何使用 ZooKeeper,又是否有 ZooKeeper的替代品呢。本文将围绕以上问题,从以下三方面说起: ...

qq_39581763的博客 1261

Visual Studio Community与Visual Studio Community与VS Code有啥区别

Visual Studio Code提供了基本的代码编辑、调试和版本控制功能,以及丰富的插件和扩展库。Visual Studio Community和Visual Studio Code在功能上有很大的差异,Visual Studio Community提供了比Visual Studio Code更多的功能,包括代码重构、智能提示、图形化设计等。他的优势在于它的轻量级和灵活性。此外,Visual Studio Code还具有丰富的扩展和插件生态系统,用户可以通过安装插件来扩展其功能,从而满足自己的需求。

m0_56551554的博客 2845

Zookeeper入门篇

Zookeeper特性: Zookeeper:一个领导者(Leader),多个跟随者(Follower)组成的集群。 集群中只要有半数以上(不包括半数)节点存活,Zookeeper集群就能正常服务。 全局数据一致:每个Server保存一份相同的数据副本,Client无论连接到哪个Server,数据都是一致的。 更新请求顺序进行,来自同一个Client的更新请求按其发送顺序依次执行。 数据更新原子性,一次数据更新要么成功,要么失败(有事务特性)。 实时性,在一定时间范围内,Client能读到最新数据。 Z

m0_48333563的博客 900

爬虫小例--爬药监局(上)

”明月如霜,好风如水,清景无限 “ 文远最近也算是爬虫入门吧,相信后面会慢慢熟悉。 壹 直接上例子,爬取药监局的数据。目的是得到每家公司的详情数据,例: 具体网址:http://scxk.nmpa.gov.cn:81/xk/ 这是主页,下面详情信息: 贰 分析,通过网页检查发现,主网页上没有公司相关数据,观察XHR中的Ajax请求发现,公司信息都是动态数据(方便更新),点击发现每个公司 的详情信息通过ID号这个参数区别,那么可以确定思路是先得到每个公司的ID号,然后在通过ID对应每一个详细网站,同样右键

john_ashley的博客 4558

CODESYS V3.5 SP17编程环境全攻略:从安装到多语言编程实战

本文全面解析CODESYS V3.5 SP17编程环境,从安装配置到多语言编程实战技巧。详细介绍了运行时环境设置、六种IEC 61131-3语言的特性对比与混合编程策略,以及高级功能开发如自定义算法模块和实时通信配置。适合工业自动化工程师快速掌握这一强大工具。

weixin_30632089的博客 493

查看zookeeper状态报错`Error contacting service. It is propably not running`

查看zookeeper状态报错`Error contacting service. It is propably not running`

Drippy_le的博客 2943

从Landsat 8到哨兵2号:手把手教你用ENVI处理不同卫星数据的NDVI(附常见错误排查)

本文详细解析了从Landsat 8到哨兵2号的多源遥感数据NDVI计算全流程,包括不同卫星的波段设置差异、ENVI处理步骤及常见错误排查。通过实战指南和代码示例,帮助用户高效处理NDVI数据,特别针对哨兵2号数据的特殊处理提供了专业建议,适用于植被监测和遥感分析。

weixin_27741699的博客 332

启动zookeeper时报zookeeper_server.pid: No such file or directory

在启动时可能会出现“zookeeper_server.pid: No such file or directory”这种问题,解决方案如下来自“http://www.xuebuyuan.com/1022921.html”,使用vi打开zkServer.sh文件,按下方法更改插入红色部分文字即可: dataDir应该是zookeeper进程内部建立的, 并且有一定延迟, 因此将zookeeper进...

huangbaokang的博客 6020

基于Python的IMF经济数据爬取与分析:从入门到实战

本文详细介绍了如何使用Python爬取国际货币基金组织(IMF)的经济数据,包括最新的爬虫技术、反反爬策略、数据解析与存储方法。文章从IMF数据源分析开始,逐步讲解如何构建一个完整的爬虫系统,并提供了详细的代码实现和优化建议。通过本文,读者将掌握爬取复杂国际组织数据的关键技术,并能将这些技术应用于其他类似的数据获取场景。关键词:Python爬虫、IMF数据、经济数据获取、数据清洗、反爬策略IMF Data (data.imf.org) - 主要数据门户。

2201_76125261的博客 1439

实战二:基于LightGBM进行海洋轨迹预测 代码+数据(非常详细可作为毕设)

实战二:基于LightGBM进行海洋轨迹预测 代码+数据(非常详细可作为毕设)

1319

【zookeeper】data/zookeeper_server.pid: No such file or directory FAILED TO WRITE PID 报错

今天在配置zk的伪集群,发现了如下报错: 上网查看有的说是因为zoo.cfg配置文件“=”前后有空格,查了以后我的配置文件并没有空格,所以我排除了这个原因。 最后解决: zk的配置文件路径解析确实不够智能,路径必须是全路径而且是从根目录开始的,我的路径开始用的是"~/xxxx"这样的路径,很显然,zk并不认识这个"~"家目录,更改以后问题解决。 另外网上说“#”注释后面必须

u010900754的专栏 1万+

C#部署YOLO三种方案深度实测:OpenCV DNN vs ONNX Runtime vs TensorRT

在工业视觉项目落地阶段,C#生态下部署YOLO模型主要有三条技术路线。很多开发者仅凭经验选型,往往在部署后期踩中性能瓶颈、兼容故障、维护成本超标的坑。本文基于工控机常见硬件配置,针对YOLOv8系列模型做控制变量实测,从推理性能、部署难度、工业稳定性、综合成本等多个维度做横向对比,给出可直接落地的选型结论。

这里只有干货:从 Modbus 通信到 MES 对接,从 YOLO 训练到工控机部署,带你搞定工业软件开发全流程。 470

【Zookeeper】Windows下安装Zookeeper(全面)

【Zookeeper】Windows下安装Zookeeper(全面)

weixin_57259781的博客 1万+

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

visio安装包

Microsoft Office Visio 是一款专业的制图软件。利用经过更新的形状、协作工具和数据链接图表,创建专业级图表以简化复杂的信息。

Zookeeper

Zookeeper笔记

panzhengxiang的博客 2358

Data-Structures-and-Algorithm-Analysis-in-Java.pdf

作者: Weiss, Mark A. 出版社: Addison Wesley Data Structures and Algorithm Analysis in Java is an “advanced algorithms” book that fits between traditional CS2 and Algorithms Analysis courses. In the old ACM Curriculum Guidelines, this course was known as CS7. This text is for readers who want to learn good programming and algorithm analysis skills simultaneously so that they can develop such programs with the maximum amo...

ZooKeeper 安装完整版——ZooKeeper3.4.6

@羲凡——只为了更好的活着 ZooKeeper 安装完整版——ZooKeeper3.4.6 1.下载地址如下: https://archive.apache.org/dist/zookeeper/zookeeper-3.4.6/ 2.安装 第1步:在deptest3 机器的 /usr/local/package 目录下解压 zookeeper-3.4.6.tar.gz tar -zxf zook...

@羲凡—只为更好的活着 1万+

IDEA的使用指南

IDEA基于java的使用手册,可以最快速的上手,在使用中不断的丰富自己的使用技巧.

Zookeeper 和 SASL

关键字:Zookeeper 和 SASL 介绍 这是一个描述ZooKeeper和SASL(Simple Authentication and Security Layer)整合建议的设计文档。 JIRA 和 源代码 JIRA问题ZOOKEEPER-938,来自JIRA的可用补丁。 请注意:这个JIRA文章只描述了客户端-服务器的相互认证。服务器-服务器的相互认证存在单独的JIRA:Z...

赵士杰的博客 5212

【Zookeeper】Zookeeper入门解析

一、ZooKeeper概述 1.Zookeeper简介 (1)Zookeeper是一个分布式协调服务的开源框架。主要用来解决分布式集群中应用系统的一致性问题 (2)ZooKeeper本质上是一个分布式的小文件存储系统。提供基于类似于文件系统的目录树方式的数据存储,并且可以对树中的节点进行有效管理。从而用来维护和监控你存储的数据的状态变化。通过监控这些数据状态的变化,从而可以达到基于数据的集群...

Together 7211

Zookeeper【安装篇】01:Zookeeper【单机】【手动】安装部署

Zookeeper【单机】【手动】安装部署

weixin_40612128的博客 5459

设置Zookeeper开机自启

首先在 /etc/init.d/ 目录下创建启动文件 zookeeper: 写入内容: #!/bin/bash # chkconfig: 2345 20 90 # description: zookeeper source /etc/profile case $1 in start) su - hadoop -c "${ZOOKEEPER_HOME}/bin/zkServer.sh start" if [ "$?" = "0" ] then echo "zookeeper is r

少弋弋的专栏 1261

ZooKeeper集群安装

目录JDK安装Zookeeper集群安装 ZooKeeper(动物园管理者)简称 ZK,是一个分布式的,开放源码的分布式应用程序协调服务组件,它的应用场景如下: 1、服务注册 2、分布式锁 3、配置管理 4、集群Master 选举 安装zookeeper集群,本文环境信息说明如下:系统CentOS7IP192.168.136.128hostnamexjw128jdk版本jdk1.8.0_181zookeep

xujinwei_gingko的专栏 1366

Python Zookeeper 注册和发现服务

#!/usr/bin/env python # -*- coding: utf-8 -* import time import random import logging from kazoo.client import KazooClient from kazoo.exceptions import NodeExistsError from kazoo.client import Kazoo...

Through Da Storm 3280

zookeeper安装教程

zookeeper安装教程

m0_64825044的博客 1463

Zookeeper搭建集群

Zookeeper集群环境搭建 1.每台服务器节点上安装jdk1.8环境 使用java -version命令测试 java -version 2.每台服务器节点上安装Zookeeper 1.下载并且安装zookeeper安装包 wget https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/zookeeper-3.4.10/zookeep...

qq_39380737的博客 2656

zookeeper 安装

安装 Hbase的Master需要zookeeper的支持,所以在集群上安装zookeeper。 将zookeeper下载解压到指定的文件夹,修改以下配置后分发到其它的节点。 修改zoo.cfg 这里主要添加了data和logs的路径以及三个服务器ip和端口 tickTime=2000 dataDir=/usr/local/zookeeper/zookeeper-3.4.5/data dataLo...

得克特 826

Apache Zookeeper :安装zookeeper步骤

前提 安装zookeeper的注意事项: 安装前需要安装好jdk 检测集群时间是否同步 检测防火墙是否关闭 检测主机 ip映射有没有配置 下载 下载安装包、解压 下载地址: CDH版本:http://archive.cloudera.com/cdh5/cdh/5/zookeeper-3.4.5-cdh5.14.0.tar.gz apache版本:https://archive.apache.o...

4888
上一篇: Android Intent的简介以及属性的详解
下一篇: 机器学习
时冲
博客等级 码龄15年 12粉丝 35原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值