zookeeper集群搭建

基于Zookeeper搭建spark集群 基于Zookeeper搭建spark集群一、前置条件二、Zookeeper集群搭建三、Spark集群搭建 一、前置条件 在搭建集群之前确保linux已安装JDK 三台机器分别为master、slave1、slave2 二、Zookeeper集群搭建 先从官网上下载zookeeper https://zookeeper.apache.org/releases.html 使用rz命令将zookeepe... 阅读详情

1. 安装前需要安装好jdk

2. 检测时间同步

检测集群时间是否同步
在这里插入图片描述

3. 检测防火墙是否关闭在这里插入图片描述

4. 检测主机 ip映射有没有配置

查看hosts配置

5. 下载安装包、解压

tar -zxvf zookeeper-3.4.5.tar.gz #解压

mv zookeeper-3.4.5 zookeeper #重命名

rm –rf zookeeper-3.4.5.tar.gz #删除安装包

6. 修改环境变量(注意:3台zookeeper都需要修改)

vi /etc/profile

exportZOOKEEPER_HOME=/home/hadoop/zookeeper

export PATH= P A T H : PATH: PATH:ZOOKEEPER_HOME/bin

source /etc/profile

7. 修改Zookeeper配置文件

cd zookeeper/conf

cp zoo_sample.cfg zoo.cfg #拷贝并重命名

vi zoo.cfg

查看默认的zoo.cfg

在这里插入图片描述

创建文件夹:

cd /home/hadoop/zookeeper/

mkdir zkdata

修改路径:

dataDir=/root/apps/zookeeper/zkdata #快照目录

配置文件末尾新增内容:

server.1=mini1:2888:3888 ## (心跳端口、选举端口)

server.2=mini2:2888:3888

server.3=mini3:2888:3888

在这里插入图片描述

8. 在zkdata文件夹下新建myid文件

myid的文件内容为:

cd zkdata

echo 1 > myid

分发安装包到其他机器

scp -r /root/apps root@mini2:/root/

scp -r /root/apps root@mini3:/root/

修改其他机器的配置文件

修改myid文件

到mini2上:修改myid为:2

到mini3上:修改myid为:3

9. 启动(每台机器)

zkServer.sh start

或者编写一个脚本来批量启动所有机器:

for host in “mini1 mini2 mini3”

do

ssh $host"source/etc/profile;/root/apps/zookeeper/bin/zkServer.sh start"

在这里插入图片描述

10. 查看集群状态

zkServer.sh status (查看集群状态,主从信息)

jps(查看进程)

如果启动不成功,可以观察zookeeper.out日志,查看错误信息进行排查

-----------------------------

配置文件中参数说明:

tickTime这个时间是作为zookeeper服务器之间或客户端与服务器之间维持心跳的时间间隔,也就是说每个tickTime时间就会发送一个心跳。

initLimit这个配置项是用来配置zookeeper接受客户端(这里所说的客户端不是用户连接zookeeper服务器的客户端,而是zookeeper服务器集群中连接到leader的follower 服务器)初始化连接时最长能忍受多少个心跳时间间隔数。

当已经超过10个心跳的时间(也就是tickTime)长度后 zookeeper 服务器还没有收到客户端的返回信息,那么表明这个客户端连接失败。总的时间长度就是10*2000=20秒。

syncLimit这个配置项标识leader与follower之间发送消息,请求和应答时间长度,最长不能超过多少个tickTime的时间长度,总的时间长度就是5*2000=10秒。

dataDir顾名思义就是zookeeper保存数据的目录,默认情况下zookeeper将写数据的日志文件也保存在这个目录里;

clientPort这个端口就是客户端连接Zookeeper服务器的端口,Zookeeper会监听这个端口接受客户端的访问请求;

server.A=B:C:D中的A是一个数字,表示这个是第几号服务器,B是这个服务器的IP地址,C第一个端口用来集群成员的信息交换,表示这个服务器与集群中的leader服务器交换信息的端口,D是在leader挂掉时专门用来进行选举leader所用的端口。

----------------------------------------------------------------

export JAVA_HOME=/root/apps/jdk1.8.0_65

export PATH= P A T H : PATH: PATH:JAVA_HOME/bin

exportCLASSPATH=.: J A V A H O M E / l i b / d t . j a r : JAVA_HOME/lib/dt.jar: JAVAH​OME/lib/dt.jar:JAVA_HOME/lib/tools.jar

Zookeeper集群搭建和Kafka集群的搭建 Zookeeper!!! 一、Zookeeper集群搭建步骤 0)集群规划 在hadoop01、hadoop02和hadoop03三个节点上部署Zookeeper。 1)解压安装 (1)解压zookeeper安装包到/home/hadoop/insatll/目录下 [hadoop@hadoop01 tools]$ tar -zxvf zookeeper-3.4.10.tar.gz -C /home... 阅读详情

相关推荐

zookeeper 集群搭建

输入 1 :wq (保存并退出)输入 2 :wq (保存并退出)输入 3 :wq (保存并退出):wq (保存并退出):wq (保存并退出):wq (保存并退出):wq (保存并退出):wq (保存并退出):wq (保存并退出)

段子手168的博客 861

Zookeeper集群搭建

所有的提议(proposal)都在被提出的时候加上了zxid。实现中zxid是一个64位的数字,它高32位是epoch用来标识leader关系是否改变,每次一个leader被选出来,它都会有一个新的epoch,标识当前属于那个leader的统治时期。server.A=B:C:D中的A是一个数字,表示这个是第几号服务器,B是这个服务器的IP地址,C第一个端口用来集群成员的信息交换,表示这个服务器与集群中的leader服务器交换信息的端口,D是在leader挂掉时专门用来进行选举leader所用的端口。

Free雅轩的博客 5172

Python 爬虫:获取网页数据的 5 种方法

requests:适用于简单的静态网页抓取,易于使用。requestslxml:适合需要高效解析大规模网页内容的情况,支持 XPath 和 CSS 选择器。Selenium:适用于动态网页(JavaScript 渲染)的抓取,模拟浏览器行为获取动态数据。Scrapy:强大的爬虫框架,适合大规模的网页抓取任务,支持异步请求和高级功能。PyQuery:基于 jQuery 语法,适合快速开发,提供简洁的 CSS 选择器语法。

想看什么文章都可以私信给我,综合性博客。 5517

Zookeeper集群

Zookeeper是一个开源的分布式的,为分布式框架提供协调服务的Apache项目。

Lsssss123的博客 5296

2、瑞丽-伯纳德对流的拉格朗日拟序结构(FTLE场结果对比)

在中,我简单比较了瑞丽伯纳德对流的FTLE场,但是因为粒子追踪采用的是欧拉方法,所以精度不是很高, 因此与文献中的结果还是有些差别。下面放一张文献中的FTLE场,参数与上篇文章是一致的,Ra = 1e8;Pr = 1;本文将详细的介绍如何得到这样的图片,好吧,其实也不是很详细。总之,先展示以下我个人的结果。可以看出,上图基本上与文献是一致的,因为这里展示的是瞬时场,所以当然不可能是完全一致,至于提取的LCS结构,我在下面也会提及。本着详细介绍的原则,所以这里我很良心的从流场计算开始介绍。

ambu1230的博客 1786

Java 开发 修改【冒险岛 079 私服】完整学习流程

第 1-2 天:环境搭建 + 运行原版 079 服务端,能正常登录游戏;第 3-4 天:纯配置文件修改,掌握倍率、属性、怪物、道具的修改,改出第一个「百倍经验私服」;第 5-10 天:Java 代码基础修改,掌握 Player/Skill/Monster 核心类的修改,实现技能无冷却、一刀秒怪、升级满属性;第 11-20 天:Java 代码进阶修改,掌握业务逻辑修改,实现死亡不掉经验、自动捡物、装备强化无失败;第 21-30 天。

萧曳丶 3904

zookeeper集群搭建步骤(超详细)

zookeeper集群的简单搭建步骤

weixin_47025166的博客 3万+

【电路设计】带阻滤波器实战:从理论到Twin-T陷波电路实现

本文详细介绍了带阻滤波器的原理与Twin-T陷波电路的实战应用,从基础概念到工程实现全面解析。通过具体案例展示如何设计高Q值滤波器,解决电源噪声等实际问题,并分享PCB布局和元件选型的实用技巧,助力工程师提升电路设计能力。

gg901的博客 1023

zookeeper集群搭建(详细步骤)

zookeeper集群搭建 一、集群规划 安装三台虚拟机,IP地址、主机名设置如下 IP 主机名 软件 192.168.1.66 SQG JDK\zookeeper 192.168.1.2 hadoop1 JDK\zookeeper 192.168.1.3 hadoop2 JDK\zookeeper 二、环境准备(以下是三台虚拟机都需操作) 1、 关闭防火墙 [root@localhost ~]# systemctl stop firewalld //停止firewalld

SQG_L的博客 3万+

同花顺自动化交易避坑指南:pywinauto实战中验证码识别与界面弹窗处理

本文深入探讨同花顺自动化交易中的关键稳定性问题,重点解决验证码识别与弹窗处理两大难题。通过优化Tesseract OCR、整合打码平台API以及设计pywinauto弹窗监控体系,提供了一套完整的自动化交易解决方案,帮助交易者有效规避资金账户和持仓信息操作中的常见陷阱。

weixin_33734785的博客 489

STM32 HAL SDADC DMA

由于项目需要使用STM32F373单片机的SDADC功能对电位计进行检测,网上资料比较少,踩了很多坑,下面进行总结。

weixin_44597885的博客 1198

搭建zookeeper集群,并监控集群状态

配置文件的逐行详细解释,帮助你理解每个参数的作用和配置逻辑。:节点无法加入集群,日志报错。

yyeare的博客 1356

Python与CAD系列基础篇(十)图形复制、移动、删除

①通过pyautocad连接AutoCAD进行处理②通过ezdxf处理dxf格式文件。进行图形复制、移动、删除的方法。pyautocad方式。pyautocad方式。

weixin_43894929的博客 2210

ZooKeeper :搭建ZooKeeper集群

ZooKeeper :搭建ZooKeeper集群 本文将介绍如何搭建ZooKeeper集群,博主准备搭建由三个ZooKeeper节点组成的集群,先需要创建三台虚拟机(VirtualBox可以复制虚拟机),系统为CentOS7,每台虚拟机配置相同,内存2G以及磁盘8G。如何创建虚拟机请参考这篇博客: VirtualBox安装CentOS7 还需要使用XShell来连接虚拟机,毕竟在VirtualBox上操作虚拟机比较麻烦。先使用VirtualBox进入虚拟机,查询该虚拟机的IP地址(使用ip addr或者

kaven 2941

上机任务一:空气质量指数 (air quality index,AQI是定量描述空气质量状况的指数。为了更好地了解和人们身体健康息息相关的天气状况,本书模拟生成500条某地区天气数据,一行样本对应一天

调整后的R平方为0.4308,考虑了模型中的自由度,它略低于多重R平方,说明模型的解释能力可能有限。总的来说,新的模型相对于之前的模型在AIC值上更优,包含了最高温度(X2)和最低温度(X3)这两个重要的预测因子,并且对AQI的解释能力较好。在表中,Df表示自由度,Sum Sq表示总平方和,Mean Sq表示均方(总平方和除以自由度),F value表示F统计量,Pr(>F)表示对应的p值。在分析这些结果时,需要关注系数的显著性(p值),系数的方向(正向或负向影响),以及系数的大小(估计值)。

Mrrunsen的博客 724

NTscan扫描工具

ntscan是一个扫描器,可以扫描没有密码和弱密码的共享,先到配置文件中填写猜测的用户名和密码,扫描过程中右侧出现的是扫描日志。

ZooKeeper集群搭建

系列文章目录 提示:这里可以添加系列文章的所有文章的目录,目录需要自己手动添加 例如:第一章 Python 机器学习入门之pandas的使用 提示:写完文章后,目录可以自动生成,如何生成可参考右边的帮助文档 文章目录 系列文章目录 前言 一、pandas是什么? 二、使用步骤 1.引入库 2.读入数据 总结 前言 提示:这里可以添加本文要记录的大概内容: 例如:随着人工智能的不断发展,机器学习这门技术也越来越重要,很多人都开启了学习机器学习,本文就介绍了机器学习..

Ele_sorriu的博客 2万+

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

基于zookeeper搭建kafka集群

Kafka 是一款开源的分布式流处理平台,最初由 LinkedIn 开发,后由 Apache 基金会维护。它被设计用于高吞吐、可扩展的实时数据管道和流处理场景。Kafka 的核心功能包括发布和订阅消息流、持久化存储数据以及实时处理数据流。其架构基于生产者(Producer)、消费者(Consumer)、主题(Topic)和分区(Partition)等概念,支持水平扩展和高容错性。Kafka 广泛应用于日志收集、消息系统、实时分析和事件溯源等场景,是现代大数据生态系统中不可或缺的组件之一。

muxia_jhy的博客 1757

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

Linux之Zookeeper集群搭建

Zookeeper是一个高效的分布式协调服务,可以提供配置信息管理、命名、分布式同步、集群管理、数据库切换等服务。它不适合用来存储大量信息,可以用来存储一些配置、发布与订阅等少量信息。Hadoop、Storm、消息中间件、RPC服务框架、分布式数据库同步系统,这些都是Zookeeper的应用场景。对 zookeeper 集群进行了这样三种角色划分:leader、follower、observer: - 领导者(leader):负责进行投票的发起和决议,更新系统状态。 - 跟随者(follower):用于接

月生的静心苑 1610

Zookeeper搭建集群

Zookeeper集群环境搭建 1.每台服务器节点上安装jdk1.8环境 使用java -version命令测试 java -version 2.每台服务器节点上安装Zookeeper 1.下载并且安装zookeeper安装包 wget https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/zookeeper-3.4.10/zookeep...

qq_39380737的博客 2655

Zookeeper+ActiveMQ集群搭建

Zookeeper+ActiveMQ集群搭建 搭建三台虚拟机安装centos7。要提前安装好jdk环境 1.环境准备,搭建三台虚拟机ip分别是 192.168.192.130 192.168.192.131 192.168.192.134   Zookeeper环境准备 主机ip 消息端口 通信端口 节点目录/u...

好好学电脑 2870

Zookeeper 集群搭建

文章目录Zookeeper 集群搭建环境准备依赖集群搭建一、安装二、配置相关一、常用命令 Zookeeper 集群搭建 环境准备 系统:CentOS 7.4 服务器:192.168.16.150、192.168.16.151、192.168.16.152 安装包:zookeeper-3.4.10.tar.gz 依赖 Java 集群搭建 一、安装 # 下载 Zookeeper $ cd /opt $ wget http://apache.mirror.cdnetworks.com/zookeeper/

liouwb 237

zookeeper集群的搭建

source /usr/local/apache-zookeeper-3.8.3-bin/bin/zkServer.sh start是在远程服务器上执行的命令,它启动Zookeeper服务。我记得之前有几种方法可以干预节点的选取,我忘了,目前好的方法是启动的时候主节点放在n+1/2的位置....但是启动的时候挂掉一个就完蛋了,目前就这样,重心不在这里,睡觉。并且 违背我的本意,本意是主节点是1003 选举机制 是 1002 启动达到2/1,所以还需要设置主节点,有可能涉及到选举机制的改变。

m0_72318572的博客 1168
上一篇: linux安装jdk
下一篇: vmare安装centos的iso镜像
billycoder
博客等级 码龄17年 171粉丝 188原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值