zookeeper的安装配置和zookeeper集群的时区同步配置

hadoop配置—搭建集群并安装zookeeper 文章目录hadoop集群搭建前提克隆虚拟机zookeeper安装配置zookeeper hadoop集群搭建 前提 hadoop集群搭建需要启动多台虚拟机(我这配置了3台),所以我将之前安装的hadoop进行克隆 克隆虚拟机 (克隆虚拟机需先关机) 选中要克隆的虚拟机,右击选择管理—>克隆,如图所示 除了有些步骤,其他都是下一步 要改的步骤如下 1、克隆方法要创建完整克隆 2、选择安装路径(不要放在C盘) 3、配置内存(我是选的4GB,根据电脑内存配置) 4、网络适配器重新生成MAC码(我这里 阅读详情

标题zookeeper环境变量配置和文件配置

安装包: https://pan.baidu.com/s/1n8wINCrwY-qJscVlIP15VQ
提取码: zd52
使用Moba连接到虚拟机,把左下角的方框勾选上。
把zookeeper安装包拖入根目录下的software下。
解压zookeeper到根目录下的opt目录下:

[root@hadoop01 software]# tar -zxvf zookeeper-3.4.6.tar.gz -C /opt/

进入opt目录

[root@hadoop01 software]# cd /opt/

修改文件名:

[root@hadoop01 opt]# mv zookeeper-3.4.6 zkpr

配置环境变量

[root@hadoop01 opt]# vi /etc/profile
export ZK_HOME=/opt/zkpr
export PATH=$PATH:$ZK_HOME/bin
[root@hadoop01 opt]# source /etc/profile

进入zkpr配置文件的目录

配置文件zoo.cfg

[root@hadoop01 opt]# cd zkpr/conf/
[root@hadoop01 conf]# vi zoo.cfg
tickTime=2000
#最大访问数:不限制
maxClientCnxns=0
#初始化最小进程数:50
initLimit=50
syncLimit=5
#数据目录
dataDir=/opt/zkpr/zkdata
#日志目录
dataLogDir=/opt/zkpr/zklogs
clientPort=2181
#配置三台集群以上的机器主机名或IP地址,如果不配集群的话,不需要添加以下内容,2888是通信端口,3888是选举通信端口
server.1=hadoop01:2888:3888
server.2=hadoop06:2888:3888
server.3=hadoop07:2888:3888

在zkpr目录下创建上面的数据目录和日志目录

[root@hadoop01 zkpr]# mkdir zkdata
[root@hadoop01 zkpr]# mkdir zklogs

进入数据目录

[root@hadoop01 zkpr]# cd zkdata

创建myid文件,并输入对应机器主机名对应的server.后面的数字

[root@hadoop01 zkdata]# vi myid

配置集群的时区同步

大数据系统是对时间敏感的计算处理系统,时间同步是基础保障,是大数据得以发挥作用的技术支撑,所以需要保证所有机器时间同步

查询是否安装过ntp:

[root@hadoop01 zkpr]# rpm -qa | grep ntp

如果有的话,接卸载:

[root@hadoop01 zkpr]# yum -y remove 查询出来的文件名

如果没有的话,下载安装ntp:

[root@hadoop01 zkpr]# yum install -y ntp

修改所有的节点的ntp配置文件:

[root@hadoop01 zkpr]# vi /etc/ntp.conf

添加内容:

restrict 127.0.0.1
restrict ::1
restrict 192.168.136.1 mask 255.255.255.0 nomodify notrap

选择一个机器作为主节点,修改配置文件:

[root@hadoop01 zkpr]# vi /etc/ntp.conf

修改如下:

#把下面四条内容全部注释掉
#server 0.centos.pool.ntp.org iburst
#server 1.centos.pool.ntp.org iburst
#server 2.centos.pool.ntp.org iburst
#server 3.centos.pool.ntp.org iburst
#添加两条内容
server 127.127.1.0
fudge 127.127.1.0 stratum 10

其他参与集群的机器作为副节点,修改配置文件:

[root@hadoop02 zkpr]# vi /etc/ntp.conf

修改如下:

#把下面四条内容全部注释掉
#server 0.centos.pool.ntp.org iburst
#server 1.centos.pool.ntp.org iburst
#server 2.centos.pool.ntp.org iburst
#server 3.centos.pool.ntp.org iburst
#添加两条内容
#添加两条内容,ip地址为主节点的IP地址
server 192.168.136.35
fudge 192.168.136.35 stratum 10

每台机器启动ntp服务,并设置开机自启动:

[root@hadoop02 zkpr]# service ntpd start
[root@hadoop02 zkpr]# chkconfig ntpd on

查看ntp状态,主机器要出现这样的画面:

[root@hadoop02 zkpr]# ntpstat

在这里插入图片描述
其他副机器要出现这样的画面:
在这里插入图片描述
在这里插入图片描述

启动和关闭zookeeper集群

启动zookeeper并查看:

[root@hadoop01 ~]# zkServer.sh start
[root@hadoop01 ~]# jps

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
这就代表三台机器全部启动成功。
查看每台机器zookeeper的状态,正确的是只有一台机器是leader,其他的是follower:

[root@hadoop01 ~]# zkServer.sh status

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
最后关闭zookeeper:

[root@hadoop01 ~]# zkServer.sh stop
Linux集群时间不同步问题导致Zookeeper宕机!! Linux集群中Zookeeper在很多地方都充当着管理者的角色,例如:Kafka和Hbase,而Zookeeper对集群的时间同步有着比较敏感的要求,因此很多集群宕机,Hbase集群启动异常找不到节点,Kafka不能收发信息也很有可能是这个问题所引发的。 直奔主题我们来谈谈怎么解决时间同步问题。 第一种情况:三个主机中某几个时间有差距但是是固定的时差,就是说在关机或者经过一段时间后这个差距不会发生变化。那首先要把时区改到统一,才有同步时间的意义,集群本身不会识别不同地区时,需要预先设置好 可以看到,ma 阅读详情

相关推荐

Hadoop集群、ZooKpeeper、HBase、Hive搭建(系统centos7.0)

目录Hadoop集群搭建一、复制虚拟机二、修改主机名和主机列表三、配置免密登录四、修改配置文件五、Hadoop运行、查看ZooKeeper搭建 需要用到的安装包: jdk-8u221-linux-x64.tar.gz提取码: tmxp MySQL-client-5.6.46-1.el7.x86_64.rpm提取码: wedy MySQL-server-5.6.46-1.el7.x86_64.rpm提取码: 6n7k hadoop提取码: ebui zookeeper提取码: 95ni hbase提取码: n

KingWeiGG的博客 532

设置集群时区及Zookeeper安装及环境配置

设置集群时区一. 设置集群时区1.判断是否安装过安装过ntp2.安装ntp3.配置ntp配置文件4.验证二. Zookeeper安装及环境配置1.将安装包解压到/opt路径下2.配置全局环境变量3.zookeeper文件配置4.启动Zookeeper 一. 设置集群时区 1.判断是否安装过安装过ntp rpm -qa | grep ntp #如果有可以进行删除 yum -y remove 2.安装ntp yum install -y ntp 3.配置ntp配置文件 vi /etc/ntp.conf

May_J_Oldhu的博客 822

docker中时区问题的处理方法

主要给大家介绍了关于docker中时区问题的处理方法,文中通过示例代码介绍的非常详细,对大家学习或者使用docker具有一定的参考学习价值,需要的朋友们下面来一起学习学习吧

大数据——zookeeper的安装配置和zookeeper集群的时区同步配置

zookeeper的安装配置和zookeeper集群的时区同步配置zookeeper下载和安装zookeeper环境变量配置和文件配置配置集群的时区同步启动和关闭zookeeper集群 zookeeper下载和安装 下载链接:zookeeper安装包 提取码:mzw6 使用Moba连接到虚拟机,把左下角的方框勾选上。 把zookeeper安装包拖入根目录下的software下。 解压zookeeper到根目录下的opt目录下: [root@hadoop01 software]# tar -zxvf zo

蜂蜜柚子加苦茶 1355

cst使用局部网格加密,手动加密,special设置等方法合理网格布局加速仿真速度

在CST中,计算复杂模型或者阵列的时候往往需要耗费大量仿真时间,除了使用更高性能的电脑或工作站进行仿真,合理对CST的仿真网格进行适当设置也是必不可少的一步。CST中网格设置影响模拟的精度和速度,因此花时间理解网格过程是很重要的。

OVEN_b612的博客 1万+

逆向工程实战:如何一步步破解京东APP的sign签名算法(附Frida脚本)

本文详细解析了京东APP的sign签名算法逆向工程实战,通过Frida脚本动态分析Java层和Native层的多层签名机制,揭示商业应用的加密协议设计。文章提供了完整的逆向工程方法论与工具链,帮助开发者深入理解移动应用安全防护体系,提升安全防御能力。

weixin_28622215的博客 919

zookeeper的配置

ZooKeeper下载安装 1、下载:链接: https://pan.baidu.com/s/12v1T3iVxBdkKP2PclVAHpQ 提取码: u5ed 2、拖入/software目录解压安装至/opt目录下:tar -zxvf zookeeper-3.4.6.tar.gz -C /opt/ 3、删除安装包: rm -rf zookeeper-3.4.6.tar.gz 4、重命名解压文件:mv zookeeper-3.4.6.tar.gz zookeeper 5、配置全局环境变量: vi /etc/

qianchun22的博客 1021

一种基于改进YOLOv8并与ORB-SLAM3融合的动态环境密集点云同步定位与建图(SLAM)方法

文章提出了一种基于改进 YOLOv8 与 ORB-SLAM3 融合的动态环境稠密点云 SLAM 方法,通过引入GSConv 卷积模块和VoVGSCSP 特征融合模块优化 YOLOv8 的轻量性,结合实时目标检测与语义分割技术去除动态特征点,显著提升了动态场景下的位姿估计精度。

2401_87345388的博客 1940

Zookeeper

servlet3.0 项目 甲骨文官网https://jcp.org/aboutJava/communityprocess/final/jsr315/index.html 第八章Annotations and pluggability 专门讲注解(不是重点 因为开发web都是springmvc做,不会用servlet开发) @servlet servletcontext注册三大组件 ...

chengqingshihuishui的博客 466

001-基础入门-Web演示源码&资源&工具箱等

小迪安全2023笔记

wushangyu32335的博客 4265

uniapp - 最新实现APP连接使用MQTT流程及源码教程,uniapp app端接入mqtt发布订阅和接收消息队列传送消息、断开重连等各种示例代码(完美兼容安卓Android与苹果ios手机)

uniapp app端接入mqtt示例代码教程,uni-app中使用mqtt,uniapp安卓app接入mqtt,uniApp苹果ios集成MQTT教程,uniapp vue3 mqtt app端的接入流程,uniapp开发安卓和ios如何在项目里集成mqtt,Mqtt协议,uniapp开发APP,主动连接mqtt,订阅消息,实现发布,订阅和接收消息,如何在uniapp项目中使用mqtt,uniapp mqtt的使用示例,mqtt连接报错,搭建MQTT通讯做聊天项目,uniapp与设备通信 通过mqtt实现

🏆 前端领域优质创作者 6570

Docker部署ZooKeeper服务【实战】(最详细教程,单主机)

好了,到这里【centos7使用docker部署zookeeper服务】就结束了,想看idea一键部署项目到docker容器以及集群部署zookeeper教程请前往主页查看相关文章,后续我会持续更新更多的优质教程,敬请期待!能成功进入到容器,则已经启动。停止容器:docker stop 容器名称,如docker stop zk1。查看日志:docker logs 容器名称,如docker logs zk1。重启容器:docker restart 容器名称。删除容器:docker rm 容器名称。

qq_58221659的博客 5063

手把手教你学Simulink--双足机器人的反步控制方法仿真

本文介绍了在Simulink中基于反步控制方法进行双足机器人仿真研究的步骤。主要内容包括:1)准备工作,包括MATLAB/Simulink安装和相关工具箱配置;2)构建简化双足机器人模型;3)设计反步控制器,阐述其递归设计原理及Lyapunov函数构造方法;4)通过MATLAB Function块实现控制逻辑并连接模型;5)仿真参数配置和结果分析。文章强调反步控制适用于非线性系统,通过逐步构造虚拟控制律保证系统稳定性,并指出需要多次调试和查阅文献来优化控制效果。该教程为研究双足机器人运动控制提供了实用的仿真

MHD0815的博客 153

集群安装搭建赛题解析

目录 集群安装搭建赛题解析 基础环境配置(20 / 20分) Zookeeper集群环境搭建(20 / 20分) Hadoop完全分布式集群搭建(30 / 30分) 集群安装搭建赛题解析 基础环境配置(20 / 20分) 前提说明 相关安装包已经存放至环境/usr/package/中 对应ntp和mysql已安装,可直接对其进行操作和配置 1.修改主机名,便于识别节点; 2.工具包已保存在环境中; 3.修改hosts文件,添加集群节点映射,按照给出的节点IP和对应的主机名进行设置; .

慕铭yikm 6959

【Go语言实战】(26) 分布式搜索引擎

基于go语言的分布式搜索引擎

面向生活编程 2380

分享一个我自用的 Python 消息发送模块,支持邮件、钉钉、企业微信

🔥 分享一个我自用的 Python 消息发送模块,支持邮件、钉钉、企业微信

XiaoqiangClub的博客 478

Zookeeper ,Hadoop,YARN分布式集群的构建以及调优

offset +0.097289 sec:表示同步前 hadoop02 的本地时间比 hadoop01 快了约 0.097 秒(即 97 毫秒),ntpdate 已自动修正这个微小偏差,让两台机器时间保持一致。这个偏移量(97 毫秒)非常小,属于正常范围,说明 hadoop02 与 hadoop01 的时间已实现有效同步。覆盖系统默认时区,确保集群节点时间标准统一为中国标准时间(若没安装,登录root用户,用。,实现集群节点间 SSH 免密登录。命令,看输出的时区标识(如。同步时间,保证集群时间一致。

2301_80484013的博客 1290

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

Hadoop高可用集群搭建

1.时区同步(三台虚拟机都要进行) 安装–修改ip–启动等待同步 yum search ntp yum install -y ntp vi /etc/ntp.conf进入文件内修改 对hadoop9/hadoop11/hadoop12分别更改如下: 启动ntp: /bin/systemctl start ntpd.service 开始同步: ntpstat 等待十几分钟,完成同步 三台设备都出现如下链接成功的界面,则同步完成,三台虚拟机的时间都相同了 2.Zookeeper 安装–配置(要添加的几

weixin_53788274的博客 381

IMSL CNL 7.0.0 (x86-64)Crack

IMSL CNL 7.0.0 (x86-64)Crack intel的算法库破解文件,这是C++版本的破解文件

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

大数据入门(1)——基础配置与Zookeeper

短短27分半的课竟然有那么大的信息量,有一说一,听得稀里糊涂、莫名其妙,要问我为什么要这样做吧,也不能说出啥所以然来。刚还是还是死记硬背吧,应该都是基础知识和固定的目录,背下来就完事儿了……期待实操……

Jair_Bao的博客 2458

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

第四届大数据竞赛-线上选拔赛 -----Hadoop集群配置

这个比赛我负责集群配置方向 集群配置如下: master slave1 slave2 ip地址 192.168.1.10 192.168.1.11 192.168.1.12 系统 centos7.2 centos7.2 centos7.2 一、基础环境 1.修改主机名 master(192.168.1.10)上执行: hostnamectl set-hostname master slave1(192.168.1.11)上

weixin_47524964的博客 2015

hadoop高可用HA集群配置

hadoop HA模式搭建一 、 搭建集群二 、修改配置文件三 、启动集群四 、测试集群是否部署成功 一 、 搭建集群 Hadoop HA模式搭建前需要完成hadoop集群配置、时区同步设置和zookeeper安装配置 二 、修改配置文件 修改core-site.xml文件 <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://ns</

Joie_TJ的博客 370

hadoop高可用集群搭建和安装

修改配置文件 1、core-site.xml <configuration> <!-- 把两个 NameNode)的地址组装成一个集群 mycluster --> <property> <name>fs.defaultFS</name> <value>hdfs://mycluster</value> </property> <!-- 指定 hadoop 运行时产生文件的存储目录 -->

jokertiger的博客 361

CDH6.3.2 集群部署(尚硅谷)

就自己在虚拟机里走了一遍.....

浅汐入梦的博客 1849

Hadoop HA模式搭建

Hadoop HA模式搭建一 、 搭建集群二 、修改配置文件三 、启动集群四 、测试集群是否部署成功 一 、 搭建集群 Hadoop HA模式搭建前需要完成hadoop集群配置、时区同步设置和zookeeper安装配置 二 、修改配置文件 1、修改hadoop01上的core-site.xml <configuration> <property> <name>fs.defaultFS</name> <value>hdfs

qianchun22的博客 470

【阿尼亚喜欢BigData】“红亚杯”大数据环境搭建与数据采集技能线上专题赛——满分解析①

大家好,喜欢Bigdata的阿尼亚来了!希望大家会喜欢阿尼亚的文章!!哇酷哇酷!!! 本次为师傅们带来的是“红亚杯”大数据环境搭建与数据采集技能线上专题赛——满分解析系列的第①期,让我们先来看看完整赛题叭! 目录 “红亚杯”——大数据环境搭建与数据采集技能线上专题赛 集群安装搭建(70 / 70分) 基础环境配置(20 / 20分) Zookeeper集群环境搭建(20 / 20分) Hadoop完全分布式集群搭建(30 / 30分) 构建数据仓库(30 / 30分) 安装数据库(5

qq_45943172的博客 2932
上一篇: hadoop集群配置
下一篇: hadoop高可用集群搭建
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值