zookeeper 3.4.6集群搭建

HDFS和YARN的HA集群搭建(Hadoop-2.8.1+Zookeeper-3.4.6) 一.软件版本 组件名称 版本 备注即下载地址 Centos 7.2 (Final) 64-bit lsb_release -a 命令查看操作系统版本 file /bin/ls 命令查看操作系统位数 JRE "1.8.0_45" http://www.360sdn.com/Linux/2014/0610/3568.html Hadoop ... 阅读详情

在搭建Zookeeper集群之前,首先需要确保的就是主机名称(可选)、hosts都已经更改,JDK成功安装,并且JAVA_HOME要配置正确。

 

1、安装Zookeeper

使用命令“tar -zxvf”命令将gz压缩文件解压。笔者Zookeeper的安装包所在的目录为:“/usr/local/zookeeper/zookeeper-3.4.6.tar.gz”,解压后的目录为/usr/local/zookeeper/zookeeper-3.4.6”,最好确保三台机器上的Zookeeper安装路径一致。

 

2、配置Zookeeper的环境变量

成功安装Zookeeper后,接下来要做的事情就是配置Zookeeper的环境变量,并通过命令“source “/etc/profile”命令使修改后的配置生效,如下所示:

Shell代码  收藏代码
  1. #ZOOKEEPER  
  2. ZOOKEEPER=/usr/local/zookeeper/zookeeper-3.4.6  
  3. PATH=$PATH:$ZOOKEEPER/bin  

 

3、修改Zookeeper的配置文件

首先将/usr/local/zookeeper/zookeeper-3.4.6/conf/zoo_sample.cfg文件复制一份,并更名为zoo.cfg,

在/usr/local/zookeeper/zookeeper-3.4.6/conf目录下命令:cp zoo_sample.cfg zoo.cfg

如下所示:

Shell代码  收藏代码
  1. # The number of milliseconds of each tick  
  2. tickTime=2000  
  3. # The number of ticks that the initial   
  4. # synchronization phase can take  
  5. initLimit=10  
  6. # The number of ticks that can pass between   
  7. # sending a request and getting an acknowledgement  
  8. syncLimit=5  
  9. # the directory where the snapshot is stored.  
  10. # do not use /tmp for storage, /tmp here is just   
  11. # example sakes.  
  12. dataDir=/home/hadoop/zk/data  
  13. dataLogDir=/home/hadoop/zk/log  
  14. # the port at which the clients will connect  
  15. clientPort=2181  
  16. # the maximum number of client connections.  
  17. # increase this if you need to handle more clients  
  18. #maxClientCnxns=60  
  19. #  
  20. # Be sure to read the maintenance section of the   
  21. # administrator guide before turning on autopurge.  
  22. #  
  23. # http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance  
  24. #  
  25. # The number of snapshots to retain in dataDir  
  26. #autopurge.snapRetainCount=3  
  27. # Purge task interval in hours  
  28. # Set to "0" to disable auto purge feature  
  29. #autopurge.purgeInterval=1  
  30. server.1=172.16.10.161:2888:3888
  31. server.2=172.16.10.162:2888:3888
  32. server.3=172.16.10.163:2888:3888

 说明:

server.n=a:b:c:其中 n 是一个数字,表示这个是第几号服务器;a 是这个服务器的 ip 地址;b 表示的是这个服务器与集群中的 Leader 服务器交换信息的端口(也可以叫做检测端口号);c 表示的是万一集群中的 Leader 服务器挂了,需要一个端口来重新进行选举,选出一个新的 Leader,而这个端口就是用来执行选举时服务器相互通信的端口(也可以叫做选举端口号)。


4.在/usr/local/zookeeper/zookeeper-3.4.6 目录下创建两个文件夹data和logs

命令:mkdir data  logs
然后修改zoo.cfg文件中的dataDir和dataLogDir为:

dataDir=/usr/local/zookeeper/zookeeper-3.4.6/data
dataLogDir=/usr/local/zookeeper/zookeeper-3.4.6/logs

 

5、创建myid文件

在dataDir目录下创建一个myid文件,然后在myid文件中输入zoo.cfg文件的server.n中n的数值

命令:echo 1 > myid


6、在其他另外两个虚拟机上重复以上3---5步骤

    注意:第5步的myid中对应的值分别为2和3

    即命令:echo 2 > myid  和 命令:echo 3 > myid

 

6、启动Zookeeper

如果三个虚拟机的以上配置都OK并且没问题的话就可以启动了。

在/usr/local/zookeeper/zookeeper-3.4.6目录下

执行命令“sh bin/zkServer.sh start”将会启动zookeeper。三个虚拟机中的zookeeper都需要单独启动。

启动成功后zookeeper会自动根据选举算法选一台作为leader,其他两台则为follower

 

可以执行命令“ sh bin/zkServer.sh status”查看zookeeper集群状态,如下图所示:

Shell代码  收藏代码
  1. #172.16.10.161
  2. JMX enabled by default  
  3. Using config: /usr/local/zookeeper/zookeeper-3.4.6/bin/../conf/zoo.cfg
  4. Mode: follower  
  5.   
  6. #172.16.10.162
  7. JMX enabled by default  
  8. Using config: /usr/local/zookeeper/zookeeper-3.4.6/bin/../conf/zoo.cfg
  9. Mode: leader  
  10.   
  11. #172.16.10.163
  12. JMX enabled by default  
  13. Using config: /usr/local/zookeeper/zookeeper-3.4.6/bin/../conf/zoo.cfg 
  14. Mode: follower  


执行命令“sh bin/zkServer.sh stop”将会停止zookeeper。

执行命令“sh bin/zkServer.sh restart”将会重启zookeeper。


如何在Dify中安装运行pandas、numpy库(离线、在线均支持,可提供远程指导) pandas和numpy这两个库是数据科学和数据分析中经常使用的工具包,原生的Dify无法直接使用这两个库,需要手动安装后才可以使用。本文将介绍如何在Dify中安装pandas和numpy,并在代码执行节点中运行使用pandas和numpy。Dify的代码执行节点中的python逻辑,实际是运行在Dify沙盒中的,因此我们在沙盒中安装pandas和numpy就可以了。如果您有在Dify中添加pandas、numpy的应用需求,欢迎关注作者进行交流。 阅读详情

相关推荐

​开源大模型实战:GLM-4.1V-Thinking本地部署教程(附API调用代码)

​在AI应用从“能用”向“好用”进阶的当下,​的需求愈发强烈:企业需保障数据安全(如医疗影像、金融报告不外传),开发者追求定制化能力(如微调模型适配垂直场景),科研团队则依赖离线环境处理敏感数据。智谱AI开源的​(10B级参数,支持图像、视频、文档多模态推理)凭借的优势,成为本地部署的热门选择。不过,对于“不想折腾技术”的普通用户或快速验证需求的团队而言,​,无需安装配置,打开即用,堪称“零门槛”体验的捷径。本文将分为两部分:先手把手教你​(适合有技术背景的用户),再对比介绍。

gogoMark的博客 1342

Zookeep启动异常:Error contacting service. It is probably not running.

Zookeep安装启动异常异常提示:[root@hadoop bin]# ./zkServer.sh status JMX enabled by default Using config: /usr/local/zk/bin/../conf/zoo.cfg Error contacting service. It is probably not running.解决方案:网上问题答案有许多种,一一

xiewendong93的专栏 3万+

芯片设计新手必看:5分钟搞懂工艺角(Process Corner)到底是什么,为啥仿真总要用它?

本文详细解析了芯片设计中的工艺角(Process Corner)概念及其在仿真中的重要性。通过类比马拉松运动员的性能差异,解释了晶体管制造过程中的天然波动,并介绍了TT/FF/SS等工艺角代码的含义。文章还探讨了为何需要跑全工艺角仿真,以及现代芯片验证的完整流程,包括PVT矩阵和多模式分析(MMMC),帮助芯片设计新手快速掌握这一关键概念。

weixin_28713947的博客 248

centos7安装zookeeper

zookeeper 安装 1、解压到指定的目录 tar -zxvf /usr/local/soft/zookeeper-3.4.6.tar.gz -C /usr/local/ 2、复制改名,修改zoo.cfg里的内容 cd /usr/local/zookeeper-3.4.6/conf cp zoo_sample.cfg zoo.cfg vi zoo.cfg 先把dataDir=/tmp/zookeeper注释,然后将下面四行代码添加到文件末尾 dataDir=/usr/local/zookeeper

dufuyun5的专栏 224

Moveit +Gazebo:搭建单臂机械臂仿真平台

Moveit +Gazebo:搭建单臂机械臂仿真平台

magic_invaid的博客 5297

matlab 点云均值、中值、高斯滤波【2024最新版】

点云均值滤波、中值滤波、高斯滤波的matlab自带函数实现。博客长期更新,本文最近一次更新时间为:2024年11月9日。

点云侠的博客 5261

同一主机Docker中部署Nginx和web服务,利用Nginx实现负载均衡,访问报502错误

环境描述: 主机ip:172.16.10.161 使用官方镜像,实例化一个container,命名myngnix,端口使用-P随机映射。 在同一台主机docker托管webapi服务1 使用3000:80端口映射,通过测试发现docker容器虚拟化出来的Ip是172.17.0.2 在同一台主机docker托管webapi服务2 使用3001:80端口映射,通过测试发现docker容器虚拟化...

nmlijinxian的博客 1964

【FPGA教程案例100】深度学习1——基于CNN卷积神经网络的手写数字识别纯Verilog实现,使用mnist手写数字数据库

MNIST 数据库有一个 60,000 示例的训练集,还有一个 10,000 示例的测试集。这些数字已在大小方面规范化,在固定大小的图像中居中。如下图所示:我们任意选择0~9是个数字,将其转化为数字:0_0.txt1_0.txt2_0.txt3_0.txt4_0.txt5_0.txt6_0.txt7_0.txt8_0.txt9_0.txt。

FPGA/MATLAB学习教程/源码/项目合作开发 7836

大数据技术之Hadoop(五)——Zookeeper

Zookeeper的安装与认识

weixin_63507910的博客 2323

YOLOv11改进 | Conv篇 | DWRSeg扩张式残差助力小目标检测 (附创新修改后的C3k2DWRSeg)

本文内容给大家带来的DWRSeg中的DWR模块来改进YOLOv11中的C2f和Bottleneck模块,主要针对的是小目标检测,主要创新点可以总结如下:多尺度特征提取机制的深入研究和创新的DWR模块和SIR模块的提出这种方法使得网络能够更灵活地适应不同尺度的特征,从而更准确地识别和分割图像中的物体。DWRSeg的基本原理和框架,并且能够在你自己的网络结构中进行添加DWRSeg需要增加一定的计算量一个DWR模块大概增加0.4GFLOPsYOLOv11改进系列专栏——本专栏持续复习各种顶会内容——科研必备。

Snu77的博客 4193

OCR技术解析:用Tesseract和PaddleOCR识别文本

OCR技术解析:用Tesseract和PaddleOCR识别文本 ,人工智能,计算机视觉,大模型,AI,光学字符识别(Optical Character Recognition,简称 OCR)是一项将图片、扫描件等文档中的文字信息转换为可编辑文本的技术。在数字化时代,OCR 技术广泛应用于文档处理、车牌识别、身份证识别、古籍数字化等领域,极大地提高了文字信息处理的效率。Tesseract 和 PaddleOCR 是两款极具代表性的 OCR 工具。

不踩坑,不知道坑有多深;不总结,踩过的坑白踩。 3万+

docker安装zookeeper3.4

1、配置主机名到ip的映射vi etc/hosts 2、修改 ZooKeeper 配置文件修改 ZooKeeper 配置文件。在其中 master 机器上,用 tar -zxvf 命令解压缩 zookeeper-3.4.10.tar.gz。 tar -zxvf /zookeeper-3.4.10.tar.gz -C /usr/local/cd /usr/localmv zookeeper-3....

weixin_34361881的博客 401

AI 大模型接口太零散?自建私有模型管理平台统一整合,管理使用超方便!(支持飞牛nas、群晖nas等服务器快速部署)

面对多种 AI 大模型接口难统一、管理繁琐的问题🤯,本文分享一款超实用开源网关工具⚡,可聚合各大模型、自动转接口、支持可视化管理,Docker 一键部署,大幅降低开发与维护成本🚀

XiaoqiangClub的博客 266

【Zookeeper】Zookeeper-3.4.6安装以及集群的搭建

前言    zookeeper是分布式系统中常见的工具,作为集群管理工具或者注册中心出现的情况比较多,除此之外,它还有的功能是配置管理,名字服务,分布式锁等。单机版(1)将zookeeper-3.4.6.tar.gz复制到服务器上并解解压缩(tar xzvf zookeeper-3.4.6.tar.gz)下载地址(2)在根目录下创建一个data目录(mkdir data)(3)将/conf/zoo...

喜欢你,像风走了八千里 不问归期 1247

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

android 蓝牙通讯demo

android 下蓝牙通讯demo,实现了发现蓝牙,使能蓝牙,通过蓝牙发送消息。

四、zookeeper-3.4.5-cdh5.3.6集群搭建

①为什么要搭建zookeeper以及zookeeper是什么? zookeeper是用来做分布式协调的技术框架。我们最后一个模块:实时计算模块,广告流量的实时计算模块,需要用到消息队列,消息队列采取kafka,kafka底层是zookeeper,所以我们必须把zookeeper搭起来。 ②拷贝文件 将zookeeper-3.4.5-cdh5.3.6.tar.gz用软件WinSCP拷贝到虚拟机...

lbh19630726的博客 602

老版QQ原生表情gif动态

这是老版的QQ表情,不过全是动态的的,Windows照片查看器是不会动的,可以右击用浏览器打开查看,再说一遍是老版的,只是分享给宁愿用老版也要动态的人。

ZooKeeper3.4.6二进制安装包的集群的搭建

ZooKeeper集群的搭建 zookeeper是和etcd,consul,nacos这样做一样的微服务注册以及微服务发现事情的可分布式集群部署的软件,通常Hadoop以及k8s都是使用Zookeeper作服务的管理工作,Hadoop和zookeeper一样都是基于Java语言开发的,因此契合度比较高哦(consul是go语言所开发,因此consul可能更适用于k8s)。 不用说,zookee...

zsk_john的技术分享专用博客 485

SAP B1中文培訓教材_SDK

公司内部培训资料,对开发工具 ,DIAPI, UIAPI,Add-ON有详细解说

zookeeper-3.4.6 集群搭建

2019独角兽企业重金招聘Python工程师标准>>> ...

weixin_34102807的博客 126

Hadoop2.7.3+HBase1.2.5+ZooKeeper3.4.6搭建分布式集群环境

Hadoop2.7.3+HBase1.2.5+ZooKeeper3.4.6搭建分布式集群环境 一、环境说明 集群环境至少需要3个节点(也就是3台服务器设备):1个Master,2个Slave,节点之间局域网连接,可以相互ping通,下面举例说明,配置节点IP分配如下: IP     角色 10.10.50.133 master 10.10.125.156 slav

reblue520的专栏 1万+

centos6.4下 搭建3个节点的zookeeper集群

  远程连接工具Xshell6 1.使用SFTP上传zookeeper压缩包 2.解压zookeeper tar zxf zookeeper-3.4.6.tar.gz 3.新建一个文件夹,存放zookeeper名称随意(我的zookeeper集群用来管理solr集群,所以用solr-cloud) mkdir /usr/local/solr-cloud 4.复制3份zookee...

zdj18166896501的博客 456

Kafka 0.9+Zookeeper3.4.6集群搭建、配置,新Client API的使用要点,高可用性测试,以及各种坑

Kafka 0.9版本对java client的api做出了较大调整,本文主要总结了Kafka 0.9在集群搭建、高可用性、新API方面的相关过程和细节,以及本人在安装调试过程中踩出的各种坑。   关于Kafka的结构、功能、特点、适用场景等,网上到处都是,我就不再赘述了,直接进入正文   Kafka 0.9集群安装配置   操作系统:CentOS 6.5     1. 安装Ja

不想当大腿的腿毛不是好工程师 4793

zookeeper-3.6.4集群搭建

上传路径:/opt/software/解压路径:/opt/module/

好记性不如烂笔头 1160

zookeeper集群搭建(3.4.6)

安装前需要安装好jdk ## 检测集群时间是否同步 检测防火墙是否关闭 检测主机 ip映射有没有配置 ##下载安装包、解压 tar -zxvf /export/software/zookeeper-3.4.6.tar.gz -C /export/server/ ## 创建软连接 ln -s /export/server/zookeeper-3.4.6 /export/server/zookeeper ##修改环境变量(注意:3台zookeeper都需要修改) vim /etc/profile..

qq_24124639的博客 308

Hadoop2.7.3+HBase1.2.5+ZooKeeper3.4.6搭建分布式集群环境详解

一、环境说明 个人理解: ZooKeeper可以独立搭建集群,HBase本身不能独立搭建集群需要和Hadoop和HDFS整合。 集群环境至少需要3个节点(也就是3台服务器设备):1个Master,2个Slave,节点之间局域网连接,可以相互ping通,下面举例说明,配置节点IP分配如下: IP    角色10.10.50.133 master10.10.125.156 slav...

qq_31306083的博客 396

centos7+zookeeper3.4.6集群搭建

环境要求:centos7   3台虚拟机   创建hadoop用户,根目录/home/hadoop软件要求:jdk1.8  zookeeper-3.4.6.tar.gz//配置jdk环境变量参见hadoop集群搭建 //解压压缩包到/home/hadoop/  在Master机器hadoop用户中tar  -xzvf  zookeeper-3.4.6.tar.gz //重命名为zookeeperm...

kevin的博客 498

Kafka 0.9+Zookeeper3.4.6集群搭建、配置

Kafka 0.9+Zookeeper3.4.6集群搭建、配置,新版Java Client的使用要点,高可用性测试,以及各种坑(一) 时间:2016-03-31 17:07:00      阅读:2044      评论:0      收藏:0      [点我收藏+] 标签:java   消息   高可用   zookeeper   kafka    Kafka 0

xll_csdn的博客 396

【solr】Solr5.5.4+Zookeeper3.4.6+Tomcat8搭建SolrCloud集群

Solr5.5.4+Zookeeper3.4.6+Tomcat8搭建SolrCloud集群   SolrCloud(solr 云)是Solr提供的分布式搜索方案,当你需要大规模,容错,分布式索引和检索能力时使用 SolrCloud。当一个系统的索引数据量少的时候是不需要使用SolrCloud的,当索引量很大,搜索请求并发很高,这时需要使用SolrCloud来满足这些需求。SolrCloud 是基...

weixin_30678821的博客 221
上一篇: CentOS----Linux虚拟机的目录结构
下一篇: spring配置文件详解
lyhjava
博客等级 码龄11年 15粉丝 1原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值