zookeeper的配置和zookeeper集群的时间同步设置

zookeeper学习笔记之-Zookeeper集群同步数据原理 Leader和Learner什么时候开始同步数据 当服务器启动时,完成了领导者选举后,确定了服务器的角色后(比如Leader、Follower、Observer),会先统一Epoch,然后就开始数据同步,最后再构造RequestProcessor,处理客户端的请求。 Learner节点向Leader发送LearnerInfo数据(包含了acceptEpoch),然后等待Leader响应 Leader不停的从Learner节点接收到发送过来的LearnerInfo数据,比较Epoch,超过过.. 阅读详情

一.ZooKeeper下载安装

  • 1.下载:链接: https://pan.baidu.com/s/12v1T3iVxBdkKP2PclVAHpQ 提取码: u5ed
  • 2.拖入opt目录解压安装:tar -zxvf zookeeper-3.4.6.tar.gz
  • 3.删除安装包: rm -rf zookeeper-3.4.6.tar.gz
  • 4.配置全局环境变量: vi /etc/profile,在打开的文件中添加如下两行:
export ZK_HOME=/opt/zookeeper-3.4.6
export PATH=$PATH:$ZK_HOME/bin
  • 5.输入: source /etc/profile,使其生效

二.ZooKeeper配置

输入: cd /opt/zookeeper-3.4.6/conf/进入配置文件的目录

  • 1.配置zoo.cfg文件:默认没有该文件,但提供了zoo_sample.cfg的模板文件
  • (1)创建该文件: vi zoo.cfg
  • (2)插入如下内容:
# The number of milliseconds of each tick
tickTime=2000
#最大访问数:不限制
maxClientCnxns=0
# The number of ticks that the initial
# synchronization phase can take
#初始化最小进程数:50
initLimit=50
# The number of ticks that can pass between
# sending a request and getting an acknowledgement
syncLimit=5
# the directory where the snapshot is stored.
#数据目录
dataDir=/opt/zookeeper-3.4.6/zookeeperdata
#日志目录
dataLogDir=/opt/install/zookeeper-3.4.6/zkdatalog
# the port at which the clients will connect
clientPort=2181
#配置三台以上的奇数台可用机器主机名或者ip,注如果不配集群不需要添加以下内容,2888是通信端口,3888是选举通信端口
server.1=hadoop101:2888:3888
server.2=hadoop102:2888:3888
server.3=hadoop103:2888:3888
  • (2)创建上面的数据目录: mkdir /opt/zookeeper-3.4.6/zookeeperdata,mkdir /opt/zookeeper-3.4.6/zkdatalog
  • (3)进入该数据目录: cd /opt/zookeeper-3.4.6/zookeeperdata
  • (4)创建myid文件,输入对应机器主机名对应的server.后面的数字: vi myid,若本机器是hadoop101则内容为1,其作用是用来选举的

三.配置集群的时间同步

  • 大数据系统是对时间敏感的计算处理系统,时间同步是基础保障,是大数据得以发挥作用的技术支撑,所以需要保证所有机器时间同步!
  • 1.确认是否安装过ntp: rpm -qa | grep ntp,若有的话使用:yum -y remove 相关文件名命令卸载
  • 2.安装ntp: yum -y install ntp
  • 3.修改所有节点的ntp配置文件: vi /etc/ntp.conf,添加如下内容:
#当前节点IP地址
restrict 192.168.233.101 nomodify notrap nopeer noquery          
#集群所在网段的网关(Gateway),子网掩码(Genmask)
restrict 192.168.233.1 mask 255.255.255.0 nomodify notrap  
  • 4.选择一个机器作为主节点,修改其/etc/ntp.conf: vi /etc/ntp.conf,内容如下(server需要全部注释):
server 127.127.1.0
Fudge 127.127.1.0 stratum 10

网络主机器

  • 5.其他机器修改/etc/ntp.conf: vi /etc/ntp.conf,将server指向主节点,内容如下(server需要全部注释):
server 192.168.56.110
Fudge 192.168.56.110 stratum 10

在这里插入图片描述

  • 6.在每台机器启动ntp服务: service ntpd start,并且设置开机自启动: chkconfig ntpd on
  • 7.查看ntp状态: ntpstat,除主机器外出现如下画面即同步成功;
    在这里插入图片描述
  • 注:如果出现以下效果,需要等待几分钟直到出现上面同步效果:
    在这里插入图片描述

四.启动和关闭ZooKeeper并验证

  • 启动命令:zkServer.sh start
  • 关闭命令:zkServer.sh stop
  • 验证方式: jps,如果出现QuorumPeerMain服务即成功启动了,如下:
    jps
  • 当所有机器执行完上述命令后,再在每台机器上执行zkServer.sh status查看每台机器的Zookerpeer状态,正确的状态是只有一台机器是leader,其余机器都显示follower,如下:

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

<Zhuuu_ZZ>Zookeeper的配置和Zookeeper集群的时间同步设置 文章目录一.ZooKeeper的下载安装二.Zookeeper的全局环境配置三.Zookeeper的文件配置四.配置集群的时间同步五.启动和关闭ZooKeeper并验证 一.ZooKeeper的下载安装 下载:链接:https://pan.baidu.com/s/12v1T3iVxBdkKP2PclVAHpQ 提取码: u5ed 拖入opt目录解压安装:tar -zxvf zookeeper-3.4.6.tar.gz 删除安装包:rm -rf zookeeper-3.4.6.tar.gz 重命名:mv z 阅读详情

相关推荐

Zookeeper的配置和集群时间同步设置

文章目录1.ZooKeeper安装2.ZooKeeper配置3.配置集群的时间同步4.启动和关闭ZooKeeper并验证 1.ZooKeeper安装 1.拖入opt目录解压安装:tar -zxvf zookeeper-3.4.6.tar.gz 2.删除安装包: rm -rf zookeeper-3.4.6.tar.gz 3.配置全局环境变量: vi /etc/profile,在打开的文件中添加如下两行: export ZK_HOME=/opt/zookeeper-3.4.6 export PATH=$PAT

weixin_46752181的博客 327

Kylin大数据实战学习教程

本课程为专题课,通过全面讲解Kylin架构原理、分布式集群搭建以及项目案例,让你快速掌握Kylin实时大数据BI技术,从而解决海量数据多维指标动态计算耗时问题、复杂条件筛选问题以及跨月、季度、年等大时间区间查询问题。

于Hadoop集群上进行的zookeeper配置、时间同步

大部分转载自学长的博客: zookeeper的配置和zookeeper集群的时间同步设置 zookeeper配置、时间同步

Helltaker的博客 432

zookeeper(六)集群初始化的数据同步

zookeeper数据同步流程及概念 zookeeper有三种差异同步 DIFF:就是当前的zxid大于最新的快照,但又没到leader最新的zxid,所以做法就是从这个zxid开始一直同步到最新的。 TRUNC:就是当前的zxid比leader最新的zxid都大,证明follower已经越界了,必须回滚到leader最新的zxid那个地方上去。 SNAP:就是当前的zxid比最新的SNAP要小,说明最新的快照都比follower新,所以直接就把最新的快照给follower,然后再通过committedLo

qq_37822914的博客 563

Hadoop3+zookeeper3 HA高可用集群搭建

Hadoop3 HA高可用集群搭建 环境准备 jdk jdk-8u192-linux-x64.tar.gz hadoop hadoop-3.1.2.tar.gz zookeeper zookeeper-3.4.13.tar.gz java环境配置 # vi + /etc/profile 在末尾添加以下内容: # JAVA_HOME export JAVA_HOME=/op...

醉殇无痕的博客 2845

Hadoop 搭建高可用集群--zookeeper

Hadoop 搭建高可用集群--zookeeper

m0_73469590的博客 1491

Zookeeper集群中节点之间数据是如何同步的?

Zookeeper集群中节点之间数据是如何同步的?

码农跟牛马有什么区别 1401

Android Framework之Pkms详解

system 用户并没有访问应用程序目录的权限,但是 Installd 服务是以 root 用户启动的,可以访问 /data/data/ 下的目录,Installd 需要完成一些创建应用数据的任务。Installer 服务是 Android 提供的用于安装的服务,Installer 持有 Installd 守护进程对应的 Binder 服务的代理对象,本质上是通过 Binder 通信调用底层的 Installd 服务真正完成 APK 文件格式的优化和转换、建立相关的数据目录、删除文件、安装应用等工作。

门徒07的博客 1842

安装zookeeper出现的时间同步问题解决方案

第一种方式:同步到网络时间服务器 ntpdate time.windows.com 将硬件时间设置为当前系统时间。 #hwclock –w 加入crontab: 30 9 * * * root /usr/sbin/ntpdate 192.168.0.1; /sbin/hwclock -w 每天的9:30将进行一次时间同步。 重启crond服务: service crond restart 第二种方...

xiaozhaoshigedasb的博客 2703

Vision-Language Navigation - Windows环境下编译安装Matterport3D Simulator仿真器(三)

目录1 编译 Matterport3D Simulator 源码1.1 源码下载1.2 编译 1 编译 Matterport3D Simulator 源码   在 Windows 下编译 Matterport3D Simulator 稍微有些不方便,需要对 CMakeLists.txt 进行一些修改,如果有更好的方法欢迎大家评论。 1.1 源码下载   还是直接在 Github 上搜索 Matterport3D Simulator 的 repo,下载源码。如果用 zip 方式,那么直接在下即可。如果使用

weixin_44110393的博客 4845

centos7安装Ambari 2.7.5 + HDP3.1.5

准备 1.安装包准备: Ambari2.7.5、HDP31.5、libtirpc-devel: centos7操作系统: 链接:https://pan.baidu.com/s/1vzvio5rAMsbYF0-0vBs5dw 提取码:xij9

kxq的博客 5091

Hadoop集群时间同步设置及Zookeeper安装配置

Hadoop集群还没搭建的小伙伴可以参照:Hadoop集群搭建 集群时间同步 搭建zookeeper的首要要让集群时间同步 首先确认是否安装过ntp: rpm -qa | grep ntp,若下载过则使用yum -y remove 卸载 下载ntp:yum install -y ntp(3个虚拟机都要下载) 修改所有节点的/etc/ntp.conf文件,命令:vi /etc/ntp.conf,添加如下内容: #当前节点IP地址 restrict 192.168.233.101 nomodify not

jiandanbuguo的博客 555

家庭宽带IPv6避坑指南:如何通过DHCPv6-PD获取公网地址(附OpenWRT配置)

本文详细解析了家庭宽带IPv6的地址分配机制,重点介绍了通过DHCPv6-PD获取公网地址的方法,并提供了OpenWRT路由器的具体配置步骤。从路由器通告(RA)标记位到前缀委派(PD)流程,帮助用户解决IPv6部署中的常见问题,实现稳定高效的IPv6网络连接。

backprop5master的博客 1209

2020.9.5课堂笔记(zookeeper安装配置,Linux集群时间同步设置)

Linux集群时间同步设置: (一)确认ntp的安装 1.确认是否已安装ntp 【命令】rpm –qa | grep ntp rpm –qa | grep ntp 若只有ntpdate而未见ntp,则需删除原有ntpdate。如: 2.删除已安装的ntp 【命令】yum –y remove ntpdate-4.2.6p5。。。(原有的ntpdata文件) yum –y remove 3.重新安装ntp 【命令】yum –y install ntp yum –y install ntp (二)配置nt

超可爱慕之 1407

Ubuntu终端一键安装英伟达驱动:无需手动下载的完整指南

本文提供了一份在Ubuntu系统上通过终端命令一键安装英伟达显卡驱动的完整指南。该方法利用官方PPA源,无需手动下载驱动文件,可自动检测硬件并安装最佳版本,极大简化了流程,适合深度学习环境搭建等场景,有效提升安装效率与稳定性。

weixin_29232121的博客 180

yolov5 FPGA实现及verilog代码仿真

本文介绍了一种基于FPGA的卷积神经网络加速器设计,采用混合架构实现网络功能。该系统将训练和图像预处理等复杂计算保留在PC端执行,仅将主干网络部署在FPGA上。由于片上资源限制,建议通过外接DDR存储扩展容量。文章提供了完整的Verilog HDL源码,包括卷积单元(convUnit)、卷积层(convLayerSingle)和处理单元(processingElement)等核心模块,均已通过仿真验证。该设计采用流水线结构,使用浮点运算单元实现卷积计算,支持32x32图像输入和5x5卷积核处理。系统架构图中

QQ_778132974的博客 576

在Ubuntu 14.04上的zookeeper+HBase集群配置

环境介绍 系统:Ubuntu14.04 64位 zookeeper版本:zookeeper-3.4.8 hbase版本:hbase-1.2.2 集群环境: 角色 hostname IP master wlw 192.168.1.112 slave1 wlw1 192.168.1.123 slave2 wlw2 192.16

predict_wise的博客 2601

Unity零基础到入门 ☀️| 【UI系统学习】轻松学会 Unity 的 UGUI基础控件的使用(包括一个简易血条、蓝条设计)

Unity,UGUI。本篇博客来挑几种Unity中最常用的UI控件如何使用和使用技巧,包括一个简易血条蓝条的小实例

努力前行,总会成为自己心中的那道光 2万+

Hadoop集群上配置zookeeper配置、时间同步

zookeeper配置、时间同步前置条件安装包环境变量zookeeper配置第一步第二步第三步配置集群的时间同步第一步第二步第三步第四步 zookeeper介绍 zookeeper介绍 ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件,提供的功能包括:配置维护、域名服务、分布式同步、组服务等。它还支持Java和C语言。 前置条件 首先我们需要一个hadoop集群 安装

youzi_qiu7的博客 368

使用R语言绘制Logistic回归模型的亚组分析森林图

亚组分析是一种常用的统计方法,用于探索不同亚组之间的差异,并确定是否存在某些变量对结果的调节作用。在本文中,我们将使用R语言来绘制Logistic回归模型的亚组分析森林图。在该图中,每个亚组都用一个点表示,点的位置表示亚组的均值,而线段表示亚组的置信区间。垂直参考线用于表示效应值为0的点,帮助我们判断亚组之间的差异。希望本文对你有所帮助,让你能够使用R语言绘制Logistic回归模型的亚组分析森林图。是一个二分类的变量,我们希望在亚组分析中探索它与响应变量之间的关系。函数来计算每个亚组的均值,并使用。

PixelNinja的博客 2003

Probability and Statistics - 4th edition

Probability and Statistics - 4th edition

Zookeeper的集群安装和配置

zk服务器集群规模不小于3个节点,要求各服务器之间系统时间要保持一致。 在master节点的/home/hadoop目录下,解压缩zk....tar.gz,具体安装的路径自选 解压后重命名该文件夹为zk 设置环境变量 vi /etc/profile 新增 export ZOOKEEPER_HOME=/home/hadoop/zk path后新增 :$ZOOKEEPER_HO...

weixin_30751947的博客 124

pscad IEEE标准系统搭建说明

pscad IEEE标准系统搭建说明,包含典型的IEEE 9节点、14节点、30节点、39节点和118节点系统。内含标准测试系统的原始数据和潮流结果。

linux安装zookeeper集群

linux安装zookeeper集群 zookeeper安装文件(版本:zookeeper-3.4.5.tar.gz) 链接:https://pan.baidu.com/s/1heWjYrlO7Y9fiwqvSPpeOA 提取码:jhet 安装前置工作: 我这整好了三台虚拟机,所以准备打一个zookeeper集群。 首先在三台虚拟机上全部装好jdk(卸载openjdk,安装sun公司的jdk)...

xxydzyr的博客 829

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

zookeeper的安装配置和zookeeper集群的时区同步配置

标题zookeeper环境变量配置和文件配置 [root@hadoop01 software]# cd /opt/ [root@hadoop01 opt]# mv zookeeper-3.4.6 zkpr [root@hadoop01 opt]# source /etc/profile 进入zkpr配置文件的目录 配置文件zoo.cfg [root@hadoop01 opt]# cd zkpr/conf/ [root@hadoop01 conf]# vi zoo.cfg tickTime=2000 #最

sanjiang521的博客 338

zookeeper安装及配置(含时间同步)

一、搭建集群 假设三台机器搭建集群: 1、复制虚拟机 1、虚拟机关机状态,右击,管理–>克隆–>下一步–>虚拟机中的当前状态–>创建完整克隆–>虚拟机名称及位置自己定–>完成; 2、进入克隆的虚拟机,输入用户名密码后,需要进去改ip地址并重启网络,如下: 输入命令:vi /etc/sysconfig/network-scripts/ifcfg-ens33; 更改ip地址:原ip更改最后一位即可,比如30改为31; 保存并退出: :wq 重启网络:systemctl re

小财迷嘻嘻的博客 1112

时区同步和zookeeper集群配置

配置集群的时间同步 大数据系统是对时间敏感的计算处理系统,时间同步是基础保障,是大数据得以发挥作用的技术支撑,所以需要保证所有机器时间同步! 确认是否安装过ntp: rpm -qa | grep ntp,若有的话使用:yum -y remove 相关文件名命令卸载 安装ntp: yum -y install ntp 修改所有节点的ntp配置文件: vi /etc/ntp.conf,添加如下内容: #当前节点IP地址 restrict 192.168.206.33 nomodify notra

Joie_TJ的博客 285
上一篇: 使用VMware安装linux的centos7系统
下一篇: hadoop组件之hbase环境搭建
sun_0128
博客等级 码龄7年 153粉丝 119原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值