zookeeper集群搭建

Zookeeper集群搭建和Kafka集群的搭建 Zookeeper!!! 一、Zookeeper集群搭建步骤 0)集群规划 在hadoop01、hadoop02和hadoop03三个节点上部署Zookeeper。 1)解压安装 (1)解压zookeeper安装包到/home/hadoop/insatll/目录下 [hadoop@hadoop01 tools]$ tar -zxvf zookeeper-3.4.10.tar.gz -C /home... 阅读详情

zookeeper集群搭建

 

Linux下zookeeper集群环境搭建
  自行搭建一个zookeeper集群(本例只使用3个zookeeper,搭建zookeeper集群,zookeeper个数必须为奇数)
  1.zookeeper下载 
    第一种方式:下载地址:https://www.apache.org/dyn/closer.cgi/zookeeper/   (选择一个镜像地址后下载相应版本zookeeper)
       下载到电脑上然后传输到Linux系统上相应的文件中
    第二种方式:执行命令 yum -y install wget(安装了wget忽略此步骤)
       在相应文件加下直接 执行 wget http://mirrors.hust.edu.cn/apache/zookeeper/zookeeper-3.4.10/zookeeper-3.4.10.tar.gz(我选用的是3.4.10版) 
  2.修改配置文件后进行选举
    (我是下载到 /home/jiang/myapp/目录下,原文地址:http://www.cnblogs.com/northern-light/)
    2.1    tar -zxf zookeeper-3.4.10.tar.gz 得到文件:zookeeper-3.4.10
    2.2    得到 zk1 zk2 zk3 
      cp -r zookeeper-3.4.10 /usr/local/kafkacloud/zk1 :将文件拷贝到/usr/local/kafkacloud/目录下并重命名为zk1
      cd /usr/local/kafkacloud/ :切换到/usr/local/kafkacloud/目录下
      【下面的命令均是在/usr/local/kafkacloud/目录下执行】
      cp -r /usr/local/kafkacloud/zk1 zk2
      cp -r /usr/local/kafkacloud/zk1 zk3
    2.3   修改配置文件

      
      分别拷贝zoo_sample.cfg得到zoo.cfg文件并修改zoo.cfg参数(zk1/zk2/zk3均需要)
      cp     zk1/conf/zoo_sample.cfg zoo.cfg 
      vim   zk1/conf/zoo.cfg
      设置参数:(路径根据自己需求进行设置)
        dataDir=/usr/local/kafkacloud/zk1/zkdata (并在对应文件目录下创建 zkdata文件夹)
      添加 dataLogDir=/usr/local/kafkacloud/zk1/zkdatalog (并在对应文件目录下创建 zkdatalog文件夹)
      clientPort=2181 (zk1设置为 2181 zk2 :2181 zk3:2183)
      添加 (zk1 zk2 zk3的zoo.cfg文件里都需要添加这三行参数)
      server.1=192.168.10.13:2881:3881
      server.2=192.168.10.13:2882:3882
      server.3=192.168.10.13:2883:3883
      :wq (保存退出)
      (myid文件中的数字用于标记zookeeper,用于选举)
      执行 echo "1" > zk1/zkdata/myid :wq (保存退出)
      echo "2" > zk1/zkdata/myid :wq (保存退出)
      echo "3" > zk1/zkdata/myid :wq (保存退出)
    2.4 启动zookeeper进行选举
       zk1/bin/zkServer.sh start
       zk2/bin/zkServer.sh start
       zk3/bin/zkServer.sh start
    2.5 查看选举后的状态
      Mode: follower :表示跟随者
      Mode: leader :表示Leader
      zk1/bin/zkServer.sh status
      zk2/bin/zkServer.sh status
      zk3/bin/zkServer.sh status
  3. 写一个简单的zookeeper集群启动和停止脚本
    启动zookeeper集群脚本:
    vim start-zks.sh (文件名字克可随意选取)
    打开文件添加以下语句后保存退出
      #!/bin/bash
      /usr/local/kafkacloud/zk1/bin/zkServer.sh start
      /usr/local/kafkacloud/zk2/bin/zkServer.sh start
      /usr/local/kafkacloud/zk3/bin/zkServer.sh start
      关闭zookeeper集群脚本:
    vim stop-zks.sh (文件名字克可随意选取)
      #!/bin/bash
        /usr/local/kafkacloud/zk1/bin/zkServer.sh stop
        /usr/local/kafkacloud/zk2/bin/zkServer.sh stop
        /usr/local/kafkacloud/zk3/bin/zkServer.sh stop
      给创建的两个脚本文件赋予执行权限
      chmod +x start-zks.sh
      chmod +x stop-zks.sh
  4.防火墙端口开放

    
    执行 vim /etc/sysconfig/iptables (将 2181 2182 2183端口开放)
    文件示例:
    # Manual customization of this file is not recommended.
    *filter
    :INPUT ACCEPT [0:0]
    :FORWARD ACCEPT [0:0]
    :OUTPUT ACCEPT [0:0]
    -A INPUT -m state --state ESTABLISHED,RELATED -j ACCEPT
    -A INPUT -p icmp -j ACCEPT
    -A INPUT -i lo -j ACCEPT
    -A INPUT -m state --state NEW -m tcp -p tcp --dport 22 -j ACCEPT
    -A INPUT -m state --state NEW -m tcp -p tcp --dport 80 -j ACCEPT
    -A INPUT -m state --state NEW -m tcp -p tcp --dport 8080 -j ACCEPT
    -A INPUT -m state --state NEW -m tcp -p tcp --dport 2181 -j ACCEPT (需要添加)
    -A INPUT -m state --state NEW -m tcp -p tcp --dport 2182 -j ACCEPT (需要添加)
    -A INPUT -m state --state NEW -m tcp -p tcp --dport 2183 -j ACCEPT (需要添加)

    :wq (保存退出)
  重启防火墙: service iptables restart

  关于zoo.cfg配置文件参数说明

  tickTime:基本事件单元,以毫秒为单位。这个时间作为zookeeper服务器之间或客户端与服务器

      之间维持心跳的时间间隔,也就是每隔tickTime时长会发送一个心跳。

       dataDir: 存储内存中数据库快照的位置,即zookeeper保存数据的目录,默认情况下,zookeeper

                      将写数据的日志文件也保存在这个目录里。

       dataLogDir: 写数据的日志文件保存的目录。

       initLimit : 用来配置zookeeper接受客户端初始化连接时最长能忍受initLimit个心跳时间间隔数

       syncLimit : 这个参数表示Leader与Follwer之间发送消息,请求和应答时长,最长不能超过syncLimit个心跳时间间隔             

  server.A = B:C:D     A:表示这是第几个服务器

             B :表示这个服务器的IP

           C : 表示这个服务器与集群中的Leader服务器交换数据的端口

           D :用于选举的端口(C和D表示的两个端口号不能一样)


  

基于Zookeeper搭建spark集群 基于Zookeeper搭建spark集群一、前置条件二、Zookeeper集群搭建三、Spark集群搭建 一、前置条件 在搭建集群之前确保linux已安装JDK 三台机器分别为master、slave1、slave2 二、Zookeeper集群搭建 先从官网上下载zookeeper https://zookeeper.apache.org/releases.html 使用rz命令将zookeepe... 阅读详情

相关推荐

zookeeper 集群搭建

输入 1 :wq (保存并退出)输入 2 :wq (保存并退出)输入 3 :wq (保存并退出):wq (保存并退出):wq (保存并退出):wq (保存并退出):wq (保存并退出):wq (保存并退出):wq (保存并退出)

段子手168的博客 861

zookeeper配置

下载源码包 官网下载地址: http://mirrors.hust.edu.cn/apache/zookeeper/ 选择最新的版本进行下载 # wget http://mirrors.hust.edu.cn/apache/zookeeper/zookeeper-3.4.11/zookeeper-3.4.11.tar.gz # tar -zxvf zookeeper-3.4.11.t...

航老大的取经之路 308

zookeeper集群升级方案

zookeeper升级方案,线上环境实战,新老版本切换。由于公司内部zookeeper集群系统版本较低,对于一些特性的支持上有点欠缺,于是决定进行对zookeeper进行升级操作。从3.3.4升级至3.4.8。

Zookeeper集群搭建

所有的提议(proposal)都在被提出的时候加上了zxid。实现中zxid是一个64位的数字,它高32位是epoch用来标识leader关系是否改变,每次一个leader被选出来,它都会有一个新的epoch,标识当前属于那个leader的统治时期。server.A=B:C:D中的A是一个数字,表示这个是第几号服务器,B是这个服务器的IP地址,C第一个端口用来集群成员的信息交换,表示这个服务器与集群中的leader服务器交换信息的端口,D是在leader挂掉时专门用来进行选举leader所用的端口。

Free雅轩的博客 5172

UE4项目迁移指南:如何无缝导入外部.uasset文件并保持材质关联

本文详细解析了将外部.uasset文件无缝导入UE4项目的专业方法。针对手动复制文件时常见的材质关联丢失问题,提供了使用引用查看器进行诊断和修复的实用技巧,并推荐使用引擎内置的“迁移”功能确保资源依赖关系的完整性,帮助开发者高效整合项目资源。

t8u9v0的博客 1047

两轮差速移动机器人运动分析、建模和控制

两轮差速运动分析及建模运动学分析三种运动状态分析函数模型仿真验证直线验证曲线验证旋转验证运动控制 运动学分析 运动特性为两轮差速驱动,其底部后方两个同构驱动轮的转动为其提供动力,前方的随动轮起支撑作用并不推动其运动,如图1两轮差速驱动示意图所示。 定义其左右驱动轮的中心分别为Wl和Wr,且对应线速度为Vl和Vr,该值可以通过电机驱动接口输出的角转速ωl,ωr2和驱动轮半径r求得,即: Vl=r⋅...

启小新的博客 8万+

Zookeeper之工作原理

ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,它包含一个简单的原语集,分布式应用程序可以基于它实现同步服务,配置维护和命名服务等。Zookeeper是hadoop的一个子项目,其发展历程无需赘述。在分布式应用中,由于工程师不能很好地使用锁机制,以及基于消息的协调机制不适合在某些应用中使用,因此需要有一种可靠的、可扩展的、分布式的、可配置的协调机制来统一系统的状态。Zookee

dengtaowei的专栏 690

Obsidian+Zotero文献管理终极指南:如何把PDF批注自动同步到笔记库

本文详细介绍了如何通过Obsidian与Zotero的深度集成,实现PDF批注自动同步到笔记库的高效工作流。从工具链配置、批注同步机制到工作流优化,帮助研究者构建智能文献管理系统,提升学术研究效率。特别适合需要处理大量文献的学者和科研人员。

weixin_29306571的博客 598

zookeeper集群搭建步骤(超详细)

zookeeper集群的简单搭建步骤

weixin_47025166的博客 3万+

RS485差分信号A下拉B上拉导致的乱码问题:一个硬件工程师的踩坑实录

本文通过一个工业网关项目中的RS485通信乱码故障,深入剖析了差分信号偏置电路设计的核心要点。文章详细记录了从波形抓取、原理图分析到多节点冲突排查的全过程,重点揭示了A下拉、B上拉这一反常规配置如何导致总线空闲状态不稳定,进而引发数据包末尾多出0x00字节及前导乱码的问题,并最终给出了硬件与软件协同的系统级解决方案与设计准则。

weixin_29159441的博客 239

保姆级教程:用OpenCV搞定鱼眼双目相机的标定与测距(附完整C++代码)

本文详细介绍了使用OpenCV进行鱼眼双目相机标定与测距的全流程,包括环境搭建、数据采集、单目标定、双目标定、立体校正和视差计算等核心步骤。通过完整的C++代码示例和参数调优指南,帮助开发者快速实现高精度的双目测距系统,适用于机器人导航、VR全景拍摄等领域。

weixin_42573113的博客 391

搭建zookeeper集群,并监控集群状态

配置文件的逐行详细解释,帮助你理解每个参数的作用和配置逻辑。:节点无法加入集群,日志报错。

yyeare的博客 1357

王炸联动!OpenClaw 对接微信 / 企业微信保姆级教程,AI 办公效率翻倍

《OpenClaw对接微信/企业微信全指南》摘要:本文提供开源AI智能体OpenClaw与微信生态的完整对接教程。核心内容包括企业微信配置四步法(获取凭证、修改配置、重启服务、验证对接)和个人微信通过企业微信插件的一键打通方案。对接后支持微信/企微发指令AI秒执行、群聊机器人、文件同步等高效办公场景,并附常见问题排查代码。教程强调配置简单(全程可复制代码)、适用广泛(个人/团队场景),实现沟通与AI协作的无缝衔接。文末包含端口放行等实用命令,助力用户快速实现移动端AI办公。(149字)

2501_93651177的博客 584

ZooKeeper :搭建ZooKeeper集群

ZooKeeper :搭建ZooKeeper集群 本文将介绍如何搭建ZooKeeper集群,博主准备搭建由三个ZooKeeper节点组成的集群,先需要创建三台虚拟机(VirtualBox可以复制虚拟机),系统为CentOS7,每台虚拟机配置相同,内存2G以及磁盘8G。如何创建虚拟机请参考这篇博客: VirtualBox安装CentOS7 还需要使用XShell来连接虚拟机,毕竟在VirtualBox上操作虚拟机比较麻烦。先使用VirtualBox进入虚拟机,查询该虚拟机的IP地址(使用ip addr或者

kaven 2943

ROSTCM6+Gephi的网络语义分析详细教程(附案例实战)

ROSTCM6是武汉大学沈阳教授研发编码的国内目前唯一的以辅助人文社会科学研究的大型免费社会计算平台。该软件可以实现微博分析、聊天分析、全网分析、网站分析、浏览分析、分词、词频统计、英文词频统计、流量分析、聚类分析等一系列文本分析。Gephi是一款开源免费跨平台基于JVM的复杂网络分析软件,可用于各种图形和网络的可视化和探索,是最受欢迎的网络可视化软件之一。

m0_64336780的博客 1万+

2、系统建模、状态估计与故障诊断中的滤波设计与故障诊断方法

本文综述了系统建模、状态估计与故障诊断中的滤波设计与故障诊断方法。首先介绍了基于分析模型、知识和信号处理的三类故障诊断方法及其特点;随后总结了传统滤波方法(如维纳滤波、卡尔曼滤波)与非概率的集员滤波方法,重点阐述了在未知但有界噪声假设下的椭球、立方、多面体、区间和Zonotope等集员滤波算法原理与发展。文章还展示了各类集员滤波算法的应用实例与流程图,并对比了其计算复杂性与准确性。最后指出,根据不同系统特性选择合适的故障诊断与滤波方法至关重要,未来趋势将趋向于多方法融合与实际工程应用深化。

kmeans3miner的博客 139

ZooKeeper集群搭建

系列文章目录 提示:这里可以添加系列文章的所有文章的目录,目录需要自己手动添加 例如:第一章 Python 机器学习入门之pandas的使用 提示:写完文章后,目录可以自动生成,如何生成可参考右边的帮助文档 文章目录 系列文章目录 前言 一、pandas是什么? 二、使用步骤 1.引入库 2.读入数据 总结 前言 提示:这里可以添加本文要记录的大概内容: 例如:随着人工智能的不断发展,机器学习这门技术也越来越重要,很多人都开启了学习机器学习,本文就介绍了机器学习..

Ele_sorriu的博客 2万+

IMSL CNL 7.0.0 (x86-64)Crack

IMSL CNL 7.0.0 (x86-64)Crack intel的算法库破解文件,这是C++版本的破解文件

基于zookeeper搭建kafka集群

Kafka 是一款开源的分布式流处理平台,最初由 LinkedIn 开发,后由 Apache 基金会维护。它被设计用于高吞吐、可扩展的实时数据管道和流处理场景。Kafka 的核心功能包括发布和订阅消息流、持久化存储数据以及实时处理数据流。其架构基于生产者(Producer)、消费者(Consumer)、主题(Topic)和分区(Partition)等概念,支持水平扩展和高容错性。Kafka 广泛应用于日志收集、消息系统、实时分析和事件溯源等场景,是现代大数据生态系统中不可或缺的组件之一。

muxia_jhy的博客 1757

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

efm32 入门.pdf

本PDF共计22页,介绍的是操作驱动API,下载与否自己斟酌。

Linux之Zookeeper集群搭建

Zookeeper是一个高效的分布式协调服务,可以提供配置信息管理、命名、分布式同步、集群管理、数据库切换等服务。它不适合用来存储大量信息,可以用来存储一些配置、发布与订阅等少量信息。Hadoop、Storm、消息中间件、RPC服务框架、分布式数据库同步系统,这些都是Zookeeper的应用场景。对 zookeeper 集群进行了这样三种角色划分:leader、follower、observer: - 领导者(leader):负责进行投票的发起和决议,更新系统状态。 - 跟随者(follower):用于接

月生的静心苑 1610

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

Zookeeper搭建集群

Zookeeper集群环境搭建 1.每台服务器节点上安装jdk1.8环境 使用java -version命令测试 java -version 2.每台服务器节点上安装Zookeeper 1.下载并且安装zookeeper安装包 wget https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/zookeeper-3.4.10/zookeep...

qq_39380737的博客 2656

Zookeeper 集群搭建

文章目录Zookeeper 集群搭建环境准备依赖集群搭建一、安装二、配置相关一、常用命令 Zookeeper 集群搭建 环境准备 系统:CentOS 7.4 服务器:192.168.16.150、192.168.16.151、192.168.16.152 安装包:zookeeper-3.4.10.tar.gz 依赖 Java 集群搭建 一、安装 # 下载 Zookeeper $ cd /opt $ wget http://apache.mirror.cdnetworks.com/zookeeper/

liouwb 238

Zookeeper+ActiveMQ集群搭建

Zookeeper+ActiveMQ集群搭建 搭建三台虚拟机安装centos7。要提前安装好jdk环境 1.环境准备,搭建三台虚拟机ip分别是 192.168.192.130 192.168.192.131 192.168.192.134   Zookeeper环境准备 主机ip 消息端口 通信端口 节点目录/u...

好好学电脑 2870

zookeeper集群的搭建

source /usr/local/apache-zookeeper-3.8.3-bin/bin/zkServer.sh start是在远程服务器上执行的命令,它启动Zookeeper服务。我记得之前有几种方法可以干预节点的选取,我忘了,目前好的方法是启动的时候主节点放在n+1/2的位置....但是启动的时候挂掉一个就完蛋了,目前就这样,重心不在这里,睡觉。并且 违背我的本意,本意是主节点是1003 选举机制 是 1002 启动达到2/1,所以还需要设置主节点,有可能涉及到选举机制的改变。

m0_72318572的博客 1168

zookeeper集群搭建​

1:下载zookeeper包 http://archive.apache.org/dist/zookeeper/2:解压:tar -zxf zookeeper-3.4.9.tar.gz3:新建文件夹:mkdir data  logs4:cp  conf/zoo_sample.cfg   conf/zoo.cfg5:vi   conf/zoo.cfg添加:dataLogDir  server  注意...

qq_17478947的博客 525
上一篇: [置顶] Spark排错与优化
下一篇: Zookeeper集群搭建详细
王树民
博客等级 码龄10年 912粉丝 560原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值