zookeeper学习-3(如何使用zookeeper进行集群管理-java版本)

ZooKeeper 搭建详细步骤之二(伪集群模式) ZooKeeper 伪集群是指在一个单一的物理或虚拟机环境中模拟出一个由多个 ZooKeeper 节点构成的集群。尽管这些节点实际上运行在同一台机器上,但它们通过配置不同的端口、数据目录和配置文件,以模拟在真实分布式环境下不同服务器上运行的效果。 阅读详情

使用场景

整个系统中分master和server两种角色,每个master、server都需要知道集群内当前可用的server列表。

原处理方式:master负责集群server信息的收集和分发。server启动后和master建立长连接并心跳检测,master收集server的新增和disconnect,并将收集到的信息分发给所有server。

原存在问题:master和server耦合较重;master比较难扩展。

使用方式

每个server对应一个Zookeeper的一个子节点,所有master和push通过获取所有子节点取得server列表,当server disconnect时Zookeeper通知所有机器重新获取Server列表。

代码示例

创建zookeeper节点的代码

package com.lp.zookeeper;

import java.io.IOException;

import org.apache.zookeeper.CreateMode;
import org.apache.zookeeper.KeeperException;
import org.apache.zookeeper.ZooDefs.Ids;
import org.apache.zookeeper.ZooKeeper;

public class ZookeeperCreateNode {

    private static ZooKeeper zk;

    public static void main(String[] args) {
        try {
            //创建zookeeper链接实例
            zk = new ZooKeeper("192.168.17.129:2181,192.168.17.129:2182,192.168.17.129:2183", 5000, null);
            //创建临时节点,当 zookeeper 链接与 zookeeper 服务器断开后,临时节点会被删除。
            //参数说明,参数1 节点路径,参数2 节点路径 对应的值,参数3 acl 访问权限,参数4 创建节点类型
            // 注意:创建 /service/mysql-1 需要首先,创建 /service
            zk.create("/service/mysql_address_1", "192.168.1.1:3306".getBytes(), Ids.OPEN_ACL_UNSAFE, CreateMode.EPHEMERAL);//创建临时节点
            //主线程 睡眠10秒钟
            Thread.sleep(10000);
            //zookeeper客户端与zookeeper服务器之间的链接
            zk.close();
        } catch (IOException e) {
            e.printStackTrace();
        } catch (InterruptedException e) {
            e.printStackTrace();
        } catch (KeeperException e) {
            e.printStackTrace();
        }
    }

}

Zookeeper 客户端代码(zookeeper服务器是服务端,链接zookeeper服务器的是客户端)

package com.lp.zookeeper;

import java.io.IOException;
import java.io.UnsupportedEncodingException;
import java.util.List;

import org.apache.zookeeper.KeeperException;
import org.apache.zookeeper.WatchedEvent;
import org.apache.zookeeper.Watcher;
import org.apache.zookeeper.Watcher.Event.EventType;
import org.apache.zookeeper.ZooKeeper;
import org.apache.zookeeper.data.Stat;

public class ZookeeperClient {

    private static Stat stat = new Stat();

    private static ZooKeeper zk;
    //监控 路径
    private static String monitorPath = "/service";

    public static void main(String[] args) {
        try {
            //创建 ZooKeeper 实例
            zk = new ZooKeeper("192.168.17.129:2181,192.168.17.129:2182,192.168.17.129:2183", 5000, new Watcher() {
                @Override
                public void process(WatchedEvent event) {
                    //获取事件类型
                    EventType eventType = event.getType();
                    System.out.println("事件类型:" + eventType.toString() + ",节点路径:" + event.getPath());
                    if(eventType.equals( EventType.NodeDataChanged)) {//事件类型为,节点对应的数据 发生变化
                        monitor(zk);
                    }
                    if(eventType.equals( EventType.NodeChildrenChanged)) {//事件类型为,路径 /service 下的节点发生变化,比如 添加节点,删除节点。
                        monitor(zk);
                    }
                }
            });

            monitor(zk);

            //保证 main 线程 不会 死掉
            Thread.sleep(Long.MAX_VALUE);

        } catch (IOException e) {
            e.printStackTrace();
        } catch (InterruptedException e) {
            e.printStackTrace();
        }
    }

    /**
     * Zookeeper 监听
     * @param zk
     */
    public static void monitor(ZooKeeper zk) {
        try {
            //监控 /serverList 下面 是否 创建了新节点 或者删除了新节点,这里使用的是在创建 ZooKeeper 实例时指定的 watcher。
            //也可以指定特定的 watcher 例如 zk.getChildren(String path, Watcher watcher);
            //注意:每次调用 Watcher 的 process 方法,如果想要对相应的 目录或者目录对应的数据进行监听,都需要重新注册,因为注册一次,只能调用一次 Watcher 的 process 方法
            List<String> subList = zk.getChildren(monitorPath, true);
            for (int i=0,size=subList.size(); i<size; i++) {
                String subNode = subList.get(i);
                //监控 /serverList 下面的 节点 对应 的 数据 是否发生变化,这里使用的是在创建 ZooKeeper 实例时指定的 watcher。
                //也可以指定特定的 watcher 例如 zk.getData(String path, Watcher watcher, Stat stat);
                byte[] data = zk.getData(monitorPath + "/" + subNode, true, stat);
                if(data != null && data.length > 0) {
                    //输出 节点对应的数据
                    System.out.println("节点数据: " + monitorPath + "/" + subNode + "=" + new String(data, "utf-8"));
                }
            }
        } catch (KeeperException e) {
            e.printStackTrace();
        } catch (InterruptedException e) {
            e.printStackTrace();
        } catch (UnsupportedEncodingException e) {
            e.printStackTrace();
        }
    }

}

首先运行ZookeeperClient,然后运行 ZookeeperCreateNode。这是你会在ZookeeperClient控制台看到,以下输出

事件类型:NodeChildrenChanged,节点路径:/service
节点数据: /service/mysql-1=192.168.1.1:3306
事件类型:NodeDeleted,节点路径:/service/mysql-1
事件类型:NodeChildrenChanged,节点路径:/service

从输出结果可以看出,创建节点以及删除节点,ZookeeperClient 都可以得到通知。

Zookeeper的安装与使用 分享了zookeeper的安装使用 阅读详情

相关推荐

Zookeeper伪集群模式配置

本实验任务主要完成基于ubuntu环境的搭建Zookeeper伪集群模式的环境工作。通过完成本实验任务,要求学生熟练掌握搭建Zookeeper伪集群模式的环境的方法,为后续实验的开展奠定zookeeper平台基础,也为从事大数据平台运维工程师、大数据技术支持工程师等岗位工作奠定夯实的技能基础。1、掌握Zookeeper伪集群模式的环境搭建Ubuntu、Zookeeper3.4.5Apache Zookeeper 由 Apache Hadoop 的 Zookeeper 子项目发展而来,现已经成为 Apache

需要远程指导仿真实验、代码有问题的,请后台私信或者关注公众号 911

使用Zookeeper对集群节点进行管理

通过zookeeper可以模拟实现对集群节点上下线进行监测,当服务器节点上线时,作为临时节点注册到zookeeper中的/servers目录下,如/servers/hadoop102,而节点下线时临时节点就会从目录中删除。服务器3启动,发起一次选举。此时服务器1,2,3已经不是LOOKING状态,不会更改选票信息。如果当前节点失联,leader仍存在,虽然当前节点会试图去选举Leader,但与其他节点交换信息时会被告知当前服务器的Leader信息,然后重新和Leader机器建立连接,并进行状态同步即可。

Ethan Mr.的博客 1830

《日均70亿请求项目实战》之部署三台zookeeper集群

《日均70亿请求项目实战》之部署三台zookeeper集群

私聊前往站内信:https://i.youkuaiyun.com/#/msg/chat/weixin_44976692 3万+

Zookeeper,集群管理之独孤求败

文章目录一、前言二、ZAB概要2.1 ZAB定义 + ZAB作用 + Zxid2.2 Zookeeper集群中的三个角色(重点:leader follower observer)2.2.1 三个角色:leader follower observer2.2.2 三个角色:选举阶段 + 广播阶段2.2.2 observer存在的意义 + leader存在的意义 + follower存在的意义2.3 Zookeeper四种状态 + ZAB四种状态2.3.1 Zookeeper集群的服务状态:四种2.3.2 ZAB

毛毛的专栏 1353

新手别怕!用‘东北天’和‘右前上’坐标系,5分钟搞懂惯性导航姿态矩阵(含Python验证代码)

本文通过‘东北天(ENU)’和‘右前上(RFU)’坐标系,详细解析惯性导航中的姿态矩阵概念。包含Python代码验证,帮助新手快速理解坐标变换、欧拉角及旋转矩阵的构建与应用,特别强调有限转动不可交换性与无限转动次序无关的区别。

weixin_29062255的博客 333

SECS/GEM协议库及开源代码

以下是在开发SECS/GEM协议过程中,在网络上搜集协议实现资源,希望对SECS/GEM协议感兴趣的同学能有所帮助。 开源代码 freesecs FREESECS 是一个开源的SEMI SECS协议库,采用C++语言实现,可运行于Linux, MacOS X, NetBSD。 实现协议:E37.1、E5 开源地址:freesecs download | SourceForge.net 下载地址:https://download.youkuaiyun.com/download/BT_LEO/24305429

码农的历程 9952

Java经典框架之Zookeeper

ZXID,事务id,为节点的更新程度,ZXID越大,代表Server对Znode的操作越新。我们需要在Zookeeper的数据存储的目录中创建一个myid文件,文件中的内容只有一行信息,即表示我们集群几点的标识,范围是1-255,每个节点的myid的数字和我们在zoo.cfg中配置的server.数字是对应的。假设Server1的ZXID为145,Server3的为122,第一轮投票中,Server1和Server3都投自己,票分别为(1,145)、(3,122),将自己的票发送给集群中所有机器。

m0_52514893的博客 2663

【GAMES101】现代计算机图形学入门 资料整理

课程网址 课程主页 包括ppt 课程PPT和视频 一篇搞定!GAMES101现代计算机图形学入门(全) 作业链接地址 作业论坛 GAMES101课程环境搭建(Win10+VSCode) 计算机图形学笔记 虎书pdf 提取:n2rx 【必须】:高等数学(微积分、线性代数)、算法、数据结构 【非必须】:信号处理、数值分析、大学物理(光学) 在线公式编辑器 一定要做作业,如果个人要配置环境的话应该是配置opencv,eigen这两个核心库就行了,目前觉得最核心的一个作业是作业3,实现着色器和渲染管线,做完一遍

ysh的博客 2687

Zookeeper的集群管理和监控

1.背景介绍 1. 背景介绍 Apache Zookeeper 是一个开源的分布式协调服务,它提供了一种可靠的、高性能的协调服务,用于构建分布式应用程序。Zookeeper 的核心功能包括: 集群管理:负责管理 Zookeeper 集群中的节点,确保集群的高可用性和容错性。 数据同步:实现数据的一致性和可靠性,确保分布式应用程序的一致性。 配置管理:提供动态配置服务,支持应用程序在运行时更...

AI天才研究院 1007

gdb对dwarf调试信息的解析和使用

gdb的对dwarf的调试信息的解析到使用的过程分析

JS072110的专栏 9568

华为OD机试 - 城市聚集度(Python/JS/C/C++ 2025 A卷 200分)

华为OD机试 2025A卷题库疯狂收录中,刷题。

学Java,找哪吒 1132

大数据系列(一)之 ZooKeeper 分布式协调服务详解、搭建和Java API实现动态上下线,Watcher机制

本文创作的初心是为学习或了解ZooKeeper的童鞋提供帮助,请大家耐心仔细阅读。 目录 一、Zookeeper 是什么 ? 二、Zookeeper 在Hadoop生态中是干什么的? 三、Zookeeper 是怎么实现的? 四、ZooKeeper的基本运转流程 五、Zookeeper 中的事务操作 六、Zookeeper 特点 七、Zookeeper 集群中的...

古小龙 867

[Dify] 如何在Dify中解析上传的TXT文件内容

在Dify平台上构建智能应用时,解析用户上传的.txt文件是关键步骤。

技术小甜甜:传播可落地技术,帮助个人和企业降低解决真实场景问题的成本 2640

zookeeper java版本号_zookeeper学习-3(如何使用zookeeper进行集群管理-java版本)

使用场景整个系统中分master和server两种角色,每个master、server都需要知道集群内当前可用的server列表。原处理方式:master负责集群server信息的收集和分发。server启动后和master建立长连接并心跳检测,master收集server的新增和disconnect,并将收集到的信息分发给所有server。原存在问题:master和server耦合较重;mast...

weixin_42520909的博客 1384

133.在 Vue3 中使用 OpenLayers 实现画多边形、任意编辑、遮罩与剪切处理功能

《Vue3+OpenLayers实现多边形绘制与区域处理》摘要:本文介绍如何基于Vue3+OpenLayers+ol-ext实现地图多边形交互功能。核心功能包括:鼠标绘制任意多边形、拖动顶点编辑边界、遮罩显示(非选区变红)、选区剪切显示及功能重置。技术方案采用OpenLayers处理地图渲染,ol-ext实现高级遮罩/剪切效果,ElementPlus提供UI控件。该方案适用于城市规划、园区展示等需要区域标记的场景,完整代码展示了从初始化、绘制、编辑到特效处理的全流程实现。

小彭的博客 964

LLM评测框架Ragas:测试RAG的性能出现TimeoutError()的解决办法(Ragas+langchain+ollama)

无奈之下,自己找到了一个解决办法,在ragas支持的llm类库中加了一个如下的类,支持ollama、langchian_ollama使用ragas测试报错的问题。可以将如上的库放到你的ragas的系统库的llms目录下,然后修改__init__.py如下。最近用ragas测试rag的性能,发现老出现TimeoutError()的错误。这是一个临时的解决办法,具体等待官方给出最终的解决方案。后来发现官方也没有尽快支持的计划。然后就可以用如下代码进行一些验证。

Criss@陈磊 666

docker搭建zookeeper集群和kafka集群,并使用Java测试

本人也是在学习kafka中,本人只有笔记本电脑里的一台Linux虚拟机这么一个小环境,要搭建kafka集群环境最好的方式应该就是容器技术了,于是花了两天时间,尝试用docker搭建zookeeper和kafka集群环境 前置要求 在虚拟机中安装好JDK 虚拟机安装好docker和docker-compose 集群环境中涉及到的端口比较多,建议学习中,直接把虚拟机防火墙关了,省得费事 1.拉相关镜像 我的镜像: 2.设置容器的网络 名称是zookeeper_kafka docker network cr

sinat_22394483的博客 2284

蓝牙模块HM-10手册

蓝牙模块HM-10手册,该手册对蓝牙模块HM-10进行了详细的介绍和使用方法以及一些AT指令。

一起进阶学习JAVA:Zookeeper

一起进阶学习JAVA:Zookeeper 文章内容输出来源:拉勾教育Java高薪训练营

咩咩咩的博客 3592

数学建模模型总结

这是本人在两年内准备参加数学建模竞赛搜集到的模型资料,已经经过了本人的筛选和整理,希望能够对准备参加数学建模竞赛的学弟学妹们提供一些帮助!

android 蓝牙通讯demo

android 下蓝牙通讯demo,实现了发现蓝牙,使能蓝牙,通过蓝牙发送消息。

Zookeeper学习笔记

Zookeeper学习笔记

qq_48617775的博客 3378

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

DolphinScheduler3.1.3版本集群搭建

DolphinScheduler最新版本的集群搭建

qq_43541182的博客 3010

zookeeper 集群搭建

集群环境下,不管是启动还是关闭都是一件比较麻烦的事情,这里准备一个脚本,从而实现一次性的启动和关闭,方便操作。这个配置可以不配,但是由于我们学习阶段,资源有限,这里则特意将进程的内存调小,防止资源不够。官方存在一个配置文件的样板,我们可以通过复制样板修改自己的配置文件。将 zookeeper 和 修改的配置文件一起分发给其它机器。准备一个数据文件夹,并创建节点唯一标识 myid。配置文件内容大致如下。

qq_34304427的博客 1226

阿里云搭建Zookeeper集群

为什么要使用zookeeper集群 大部分分布式应用需要一个主控、协调器或者控制器来管理物理分布的子进程。目前,大多数都要开发私有的协调程序,缺乏一个通用机制,协调程序的反复编写浪费,且难以形成通用、伸缩性好的协调器,zookeeper提供通用的分布式锁(数据库,redis,zookeeper)服务,用以协调分布式应用。所以说zookeeper是分布式应用的协作服务。 zookeeper作为注册中...

JOJO! 1231

Zookeeper学习--Zookeeper基本使用和集群搭建

本章记录学习Zookeeper的环境搭建以及基本api使用等。部分内容摘要自Zookeeper官网。本次使用的Zookeeper版本为3.4.9,这里我在本机上安装了VMWare,并创建了三台虚拟机,方便后面集群搭建。

478

kafka集群搭建教程(使用自带的zookeeper)

kafka集群搭建教程(使用自带的zookeeper)一、kafka简介二、kafka名词解释三、zookeeper与Kafka四、kafka集群搭建前准备1、下载2、检验jdk3、系统参数修改4、关闭防火墙五、zookeeper集群搭建1、解压kafka安装包到/usr/local/kafka目录下2、修改配置zookeeper.properties文件内容:3、注意4、生成myid文件5、启动zookeeper六、kafka集群搭建1、修改配置内容:2、启动kafka3、创建topic4、查看topic

junxuezheng的博客 2871

Zookeeper学习专栏(七):集群监控与管理

本文深入探讨Zookeeper集群监控与管理的最佳实践,重点介绍了四字命令(stat/mntr/ruok)实现轻量级状态检测,JMX监控关键指标(连接数/延迟/Watch量)的方法,以及配置优化要点包括时间参数调优、JVM GC策略和磁盘IO优化等。文章还分析了Zab协议选举机制和客户端连接状态处理,为构建高可用Zookeeper集群提供了全面的技术指导,涵盖从基础监控到性能优化的完整解决方案。

qq_43947876的博客 970

Zookeeper的学习

01【熟悉】Zookeeper概述 1,Zookeeper背景 随着互联网技术的发展,企业对计算机系统的计算,存储能力要求越来越高,各大IT企业都在追求高并发,海量存储的极致,在这样的背景下,单纯依靠少量高性能单机来完成计算机,云计算的任务已经无法满足需求,企业的IT架构逐渐由集中式往分布式过渡。所谓的分布式是指:把一个计算任务分解成若干个计算单元,并分派到不同的计算机中去执行,最终汇总计算结果的过程。 2,Zookeeper概述 Zookeeper是源代码开放的分布式协调服务,是一个高性能的分

weixin_42672802的博客 1739
上一篇: zookeeper学习-2(如何使用zookeeper进行配置管理-java版本)
下一篇: spring整合dubbo-2.5.3(使用TCP广播或者zookeeper 暴露和发现服务)
三易的博客
博客等级 码龄15年 42粉丝 89原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值