大数据系列之Zookeeper集群搭建

(五)使用Ansible搭建分布式大数据基础环境-ZooKeeper集群模式搭建 “使用Ansible搭建分布式大数据基础环境”系列文章完整包含了如何使用Ansible这一分布式运维利器,来帮我们快速搭建Hadoop2/Spark2/Hive2/ZooKeeper3/Flink1.7/ElasticSearch5等一整套大数据解决方案。本篇是系列文章的第五篇。更多后续文章尽请关注。 (一)使用Ansible搭建分布式大数据基础环境-环境准备 (二)使用Ansible搭建分... 阅读详情
  1. 安装前需要安装好jdk

     检测集群时间是否同步
     检测防火墙是否关闭
     检测主机 ip映射有没有配置
    
  2. 下载安装包、解压

     tar -zxvf zookeeper-3.4.5.tar.gz
    
  3. 修改环境变量(注意:3台zookeeper都需要修改)

     vim /etc/profile.d/zookeeper.sh
     export ZOOKEEPER_HOME=zookeeper安装目录的绝对路径
     export PATH=$PATH:$ZOOKEEPER_HOME/bin
    
     source /etc/profile
    
  4. 修改Zookeeper配置文件

     (1) cd zookeeper/conf
     	cp zoo_sample.cfg zoo.cfg
     	vim zoo.cfg
     	
     	修改:
     	dataDir=zookeeper安装目录的绝对路径/zkdata
     	添加:
     	server.1=node01:2888:3888     
     	server.2=node02:2888:3888
     	server.3=node03:2888:3888
    
    
    
    
     (2) cd zookeeper安装目录的绝对路径
     	mkdir zkdata
     	cd zkdata
     	在data文件夹下新建myid文件,myid的文件内容为:
     	echo '1' > myid
    
  5. 分发安装包和环境变量文件(记得source)到其他机器

  6. 修改其他机器的配置文件

     修改myid文件
     到node02上  修改myid为:2
     到node03上  修改myid为:3
    
  7. 启动(每台机器)

     zkServer.sh start
     或者编写一个脚本来批量启动所有机器:
     for host in node01 node02 node03
     do
        ssh $host "source /etc/profile;zookeeper安装目录的绝对路径/bin/zkServer.sh start"
     done
    
  8. 查看集群状态

     jps(查看进程)
     zkServer.sh status(查看集群状态,主从信息)
     
     如果启动不成功,可以观察zookeeper.out日志,查看错误信息进行排查
    
  9. 配置文件中参数说明:

tickTime这个时间是作为zookeeper服务器之间或客户端与服务器之间维持心跳的时间间隔,也就是说每个tickTime时间就会发送一个心跳。

initLimit这个配置项是用来配置zookeeper接受客户端(这里所说的客户端不是用户连接zookeeper服务器的客户端,而是zookeeper服务器集群中连接到leader的follower 服务器)初始化连接时最长能忍受多少个心跳时间间隔数。

当已经超过10个心跳的时间(也就是tickTime)长度后 zookeeper 服务器还没有收到客户端的返回信息,那么表明这个客户端连接失败。总的时间长度就是 10*2000=20秒。

syncLimit这个配置项标识leader与follower之间发送消息,请求和应答时间长度,最长不能超过多少个tickTime的时间长度,总的时间长度就是5*2000=10秒。

dataDir顾名思义就是zookeeper保存数据的目录,默认情况下zookeeper将写数据的日志文件也保存在这个目录里;

clientPort这个端口就是客户端连接Zookeeper服务器的端口,Zookeeper会监听这个端口接受客户端的访问请求;

server.A=B:C:D中的A是一个数字,表示这个是第几号服务器,B是这个服务器的IP地址,C第一个端口用来集群成员的信息交换,表示这个服务器与集群中的leader服务器交换信息的端口,D是在leader挂掉时专门用来进行选举leader所用的端口。

【大数据Zookeeper系列】基于ZooKeeper搭建Spark高可用集群 阅读详情

相关推荐

【大数据Zookeeper系列】基于Zookeeper搭建Kafka高可用集群

【大数据Zookeeper系列】基于Zookeeper搭建Kafka高可用集群

weixin_54707168的博客 434

Zookeeper集群

Zookeeper是一个开源的分布式的,为分布式框架提供协调服务的Apache项目。

Lsssss123的博客 5295

【大数据Zookeeper系列】基于Zookeeper搭建Hadoop高可用集群

基于Zookeeper搭建Hadoop高可用集群

weixin_54707168的博客 546

zookeeper集群

zookeeper

qq_42819092的博客 2949

【大数据Zookeeper系列】Zookeeper单机环境和集群环境搭建

【大数据Zookeeper系列】Zookeeper单机环境和集群环境搭建

weixin_54707168的博客 439

LTspice基础教程-024.参数扫描;step指令用法

step指令用于参数扫描,扫描步骤可以是线性的,对数的或列表。 下面介绍几种常用用法: 绘制一简单电阻分压电路,如下: 线性扫描 语法:.step param <Name> <Start Value> <Stop Value> <Increment> 例:.step param Res 20 100 20 意思是R2的阻值从20变化到100,...

gaoyong_wang的博客 3万+

Zookeeper集群部署

Zookeeper集群+Fafka集群前言一、Zookeeper概述1、Zookeeper定义2、Zookeeper工作机制3、Zookeeper特点4、Zookeeper数据结构5、Zookeeper 应用场景6、Zookeeper选举机制第一次启动选举机制非第一次启动选举机制二、部署Zookeeper集群准备3台服务器做Zookeeper 集群1.安装前准备2.安装Zookeeper 前言 一、Zookeeper概述 1、Zookeeper定义 Zookeeper是一个开源的分布式的,为分布式框架提

王大雏的博客 963

用R语言做WGCNA分析全步骤一(附代码解读)【转载】

代码逐句分析一、文章来源二、基因共表达网络构建及模块识别1.数据导入、清洗及预处理2.检查过度缺失值和离群样本3.聚类做离群样本检测4.载入临床特征数据三、自动构建网络及识别模块1.确定合适的软阈值:网络拓扑分析2.一步构建网络和识别模块 一、文章来源 初学WGCNA,觉得博主的代码写的很不错,但其中很多代码在第一遍看的时候有很多地方不理解,后查阅了很多资料,终于看明白了,于是写了一篇笔记,记录自己的学习心得,有不准确的地方,还望各位大佬们不吝赐教~ 原文链接:WGCNA简明指南 二、基因共表达网络构建及模

qq_43138237的博客 2万+

ZooKeeper 集群的详细部署

ZooKeeper 集群的详细部署

slb190623的博客 8057

传感器校准与标定:传感器的灵敏度校准_(11).常见传感器的灵敏度校准方法

线性校准:适用于传感器输出与输入之间存在线性关系的情况。通过收集数据并使用最小二乘法拟合线性方程,可以确定斜率和截距,从而实现校准。非线性校准:适用于传感器输出与输入之间存在非线性关系的情况。通过收集数据并使用非线性拟合方法(如最小二乘法),可以确定多项式或其他非线性方程的参数,从而实现校准。温度补偿校准:适用于传感器在不同温度下输出特性变化的情况。通过收集不同温度下的数据并使用温度补偿方程,可以提高传感器在不同温度下的测量精度。其他校准方法。

2401_87715305的博客 917

深度解构事务码 SQF:Support Query Framework 与 ABAP 静态分析实战

某制造企业在年度审计前,需要确认自定义发票过账程序 ZFI_INV* 系列是否存在硬编码公司代码与未捕获异常。技术团队在字段填入ZFI_INV*后,勾选与规则,执行扫描。SQF 生成的 ALV 报告列出 42 个警告,其中 17 条与抛出 CX_SY_NO_HANDLER 相关,8 条涉及动态 SQL 注入风险。结果导出至 Excel 供开发整改,并在 ATC 阶段验证修复。此过程较手工逐个执行 Code Inspector 节省超 80 % 时间。

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 216

大数据环境搭建系列-zookeeper集群搭建

概述 本博客基于zookeeper-3.4.9搭建集群环境。非root用户(bigdata),五台机器(cdh01~cdh05) 机器 主机名 系统 ip cdh01 Linux 192.168.8.21 cdh02 Linux 192.168.8.22 cdh03 Linux 192.168.8.23 cdh04 Li...

bankq的博客 305

ABAP Cloud:面向云时代的 ABAP 开发范式与实践指南

摘要: 本文系统讲解SAP ABAP Cloud开发模型,涵盖其架构、工具链、规范及实践。ABAP Cloud作为统一开发模型,支持在SAP BTP和S/4HANA上构建云就绪应用,遵循clean core原则,通过RAP(RESTful应用编程模型)实现低耦合扩展。文章详细解析其核心构成(RAP、稳定API、clean core约束)、工具链(ADT、软件物流)及两种典型扩展场景(on-stack与side-by-side),并附可运行RAP示例代码(如销售笔记应用)。重点强调通过规范开发确保系统可升级性

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 406

大数据系列(3)之zookeeper集群搭建

前言:由于 hbase等集群的搭建依赖于zookeeper,所以这里把zookeeper集群的搭建和 zookeeper原理(下一篇)等 放到了前面。 1、下载并解压zookeeper 进入zookeeper的镜像网页地址: http://www.apache.org/dyn/closer.cgi/zookeeper/ 进入所选择的版本 复制下载地址 进入自己创建的 zookeeper目录,用 wget命令下载 wget https://mirrors.bfsu.e

仙羽刺的博客 328

UG二次开发GRIP创建drill工序

UG二次开发GRIP创建drill工序

qq285503851的博客 1696

Hindsight 内存爆炸 4 个词排查清单:9,284 条 6 成是 SSH 调试日志——Agent 标签系统的实战复盘

9,284 条记忆里 66% 是 SSH 调试日志。4 个标签被滥用=0 区分度。3 个 entity_labels + retain_mission + retain_every_n_turns 配置把噪声压回 5%——附 PATCH 脚本和实测前后数据。

Starry-SkyJing的博客 57

hadoop 3.3大数据集群搭建系列2-安装zookeeper

hadoop大数据集群 zookeeper搭建

只是甲的博客 1141

efm32 入门.pdf

本PDF共计22页,介绍的是操作驱动API,下载与否自己斟酌。

大数据系列(hadoop) Hadoop+Zookeeper 3节点高可用集群搭建

原文地址:https://www.cnblogs.com/YellowstonePark/p/7750213.html一、集群规划主机名ipNameNodeDataNodeYarnZooKeeperJournalNodenode01192.168.1.201是是否是是node02192.168.1.202是是否是是node03192.168.1.203否是否是是    注:所有操作都是在root用...

wuapeng的博客 1616

怀旧版电脑GBC模拟器

再现原版GBC掌机的界面,电脑运行连游戏界面都一样大小,很怀旧,很真实,(英文版)强烈推荐,很小的文件,很难才找到的。

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

大数据学习系列之七 ----- Hadoop+Spark+Zookeeper+HBase+Hive集群搭建 图文详解

目录 引言 目录 一、环境选择 1,集群机器安装图 2,配置说明 3,下载地址 二、集群的相关配置 1,主机名更改以及主机和IP做相关映射 2,ssh免登录 3,防火墙关闭 ...

weixin_33842328的博客 2532

精雕软件(JDpaint) 5.5 绿色版

精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版

大数据学习系列(6)-- zookeeper集群搭建

下载 wget http://mirrors.shuosc.org/apache/zookeeper/zookeeper-3.3.6/zookeeper-3.3.6.tar.gz tar -zxvf zookeeper-3.3.6.tar.gz mv zookeeper-3.3.6 zookeeper 修改环境变量,每个节点服务器都需要修改 vim /etc/profile ...

weixin_30762087的博客 78

大数据系列(hadoop) Hadoop+Zookeeper 3节点高可用集群搭建

---恢复内容开始--- 一、集群规划 主机名 ip NameNode DataNode  Yarn ZooKeeper JournalNode node01 192.168.1.201 是 是 否 是 是 node02 192.168.1.202 是 是 否 是 是 node03 192.168.1.203 否...

weixin_34174132的博客 382

大数据学习系列之七 ----- Hadoop+Spark+Zookeeper+HBase+Hive集群搭建 图文详解

版权声明:本文为博主原创文章,转载请标明出处!博客地址:http://blog.youkuaiyun.com/qazwsxpcm https://blog.youkuaiyun.com/qazwsxpcm/article/details/78937820 ...

郑学聪的博客 577
上一篇: hadoop核心组件——HDFS系列讲解之HDFS其他功能介绍
下一篇: 大数据系列之Zookeeper知识部分讲解
LeeBoolean
博客等级 码龄6年 12粉丝 27原创
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值