zookeeper应用开发

大数据领域Zookeeper的分布式协调应用开发流程 在大数据场景中(如Hadoop集群、Kafka消息队列),成百上千台服务器需要协同工作:主节点挂了谁来接管?多个任务同时修改同一个配置如何避免冲突?服务上线/下线如何快速通知所有客户端?这些问题都需要分布式协调服务解决。本文聚焦Zookeeper——全球最流行的分布式协调中间件,覆盖其核心原理、开发流程及大数据场景实战。本文从“快递驿站管理”的生活案例切入,解释Zookeeper的核心概念(ZNode、Watch、会话);用“班级选举班长”类比ZAB协议的选举过程; 阅读详情

由于zookeeper的client只有zookeeper一个对象,使用也比较简单,所以就不许要文字说明了,在代码中注释下就ok 了。

1、测试用的main方法

package ClientExample; public class TestMain { public static void main(String[] args) { /* * 测试流程 * 1、创建sever1的连接client1,并且创建一个永久性的/test节点 * 2、创建一个针对server1的临时节点 * 3、创建server2的连接client21,并创建一个针对server2的临时节点 * 4、创建server3的连接client3,并创建一个针对server3的临时节点 * 5、分别查看client1、client2、client3的三个节点的字节点数量,确定是否同步成功 * 6、修改client1的临时节点内容,然后在在client2和client3中查看 * 7、kill掉client3的线程,然后检查是watcher是否有通知给client1和client2 */ Thread t1= new ClientThread("127.0.0.1:2181","server1",false); Thread t2= new ClientThread("127.0.0.1:2182","server2",false); Thread t3= new ClientThread("127.0.0.1:2183","server3",false); Thread t4= new ClientThread("127.0.0.1:2181","server4",false); t1.start(); t2.start(); t3.start(); t4.start(); ControlThread c = new ControlThread(t1, t2, t3, t4); c.start(); int i=0; while(true) { i++; i--; } /* * 测试控制台输出: * connectIP:server4,path:null,state:SyncConnected,type:None * connectIP:server3,path:/test,state:SyncConnected,type:NodeChildrenChanged * connectIP:server4,path:/test/server4,state:SyncConnected,type:NodeCreated * 。。。。。。。。。。。 * * connectIP:server2,path:null,state:Disconnected,type:None server2exception,KeeperErrorCode = ConnectionLoss for /test connectIP:newServer1,path:null,state:SyncConnected,type:None connectIP:server1,path:/test,state:SyncConnected,type:NodeChildrenChanged connectIP:server4,path:/test/server2,state:SyncConnected,type:NodeDeleted connectIP:server4,path:/test,state:SyncConnected,type:NodeChildrenChanged connectIP:newServer1,path:/test,state:SyncConnected,type:NodeChildrenChanged connectIP:server3,path:/test/server2,state:SyncConnected,type:NodeDeleted connectIP:server3,path:/test,state:SyncConnected,type:NodeChildrenChanged */ } }

2、zookeeper封装的接口:

package ClientExample; import java.io.IOException; import java.util.List; import org.apache.zookeeper.KeeperException; /** * zookeeper的操作封装接口,实现了常用的操作 * 创建、销毁、写入、修改、查询等。 * @author ransom * */ public interface ServerOperation { void init(String address,String serverName) throws IOException; void destroy() throws InterruptedException; List<String> getChilds(String path) throws KeeperException, InterruptedException; String getData(String path) throws KeeperException, InterruptedException; void changeData(String path, String data) throws KeeperException, InterruptedException; void delData(String path) throws KeeperException, InterruptedException; void apendTempNode(String path, String data) throws KeeperException, InterruptedException; void apendPresistentNode(String path, String data) throws KeeperException, InterruptedException; void delNode(String path) throws KeeperException, InterruptedException; boolean exist(String path) throws KeeperException, InterruptedException; }

3、接口的实现:
package ClientExample;

import java.io.IOException;  
import java.util.List;  
import org.apache.zookeeper.CreateMode;  
import org.apache.zookeeper.KeeperException;  
import org.apache.zookeeper.ZooKeeper;  
import org.apache.zookeeper.ZooDefs.Ids;  
public class ServerConnector implements ServerOperation {  
    // 创建一个Zookeeper实例,第一个参数为目标服务器地址和端口,第二个参数为Session超时时间,第三个为节点变化时的回调方法  
    private ZooKeeper zk = null;  
    public void init(String address,String serverName) throws IOException {  
        zk = new ZooKeeper(address, 500000,  
                new MultiWatcher(serverName)); 
    }  
    @Override  
    public void destroy() throws InterruptedException {  
        // TODO Auto-generated method stub  
        if (zk != null) {  
            zk.close();  
        }  
    }  
    @Override  
    public List<String> getChilds(String path) throws KeeperException, InterruptedException {  
        // TODO Auto-generated method stub  
        if (zk != null) {  
            return zk.getChildren(path, true);  
        }  
        return null;  
    }  
    @Override  
    public String getData(String path) throws KeeperException, InterruptedException {  
        // TODO Auto-generated method stub  
        if (zk != null) {  
            // 取得/root/childone节点下的数据,返回byte[]  
            byte[] b = zk.getData(path, true, null);  
            return new String(b);  
        }  
        return null;  
    }  
    @Override  
    public void changeData(String path,String data) throws KeeperException, InterruptedException {  
        // TODO Auto-generated method stub  
        if (zk != null) {  
            // 修改节点/root/childone下的数据,第三个参数为版本,如果是-1,那会无视被修改的数据版本,直接改掉  
            zk.setData(path, data.getBytes(),-1);  
        }  
    }  
    @Override  
    public void delData(String path) throws InterruptedException, KeeperException {  
        // TODO Auto-generated method stub  
        if (zk != null) {  
            // 删除/root/childone这个节点,第二个参数为版本,-1的话直接删除,无视版本  
            zk.delete(path, -1);  
        }  
    }  
    @Override  
    public void delNode(String path) throws InterruptedException, KeeperException {  
        // TODO Auto-generated method stub  
        if (zk != null) {  
            zk.delete(path, -1);  
        }  
    }  
    @Override  
    public boolean exist(String path) throws KeeperException,  
            InterruptedException {  
        // TODO Auto-generated method stub  
        if (zk != null) {  
            return zk.exists(path, true)!=null;  
        }  
        return false;  
    }  
    @Override  
    public void apendTempNode(String path, String data) throws KeeperException,  
            InterruptedException {  
        // TODO Auto-generated method stub  
        // TODO Auto-generated method stub  
        if (zk != null)   
        {  
            // 创建一个节点root,数据是mydata,不进行ACL权限控制,节点为永久性的(即客户端shutdown了也不会消失)  
            /* 
             * 创建一个给定的目录节点 path, 并给它设置数据, 
             * CreateMode 标识有四种形式的目录节点,分别是  
             * PERSISTENT:持久化目录节点,这个目录节点存储的数据不会丢失; 
             * PERSISTENT_SEQUENTIAL:顺序自动编号的目录节点,这种目录节点会根据当前已近存在的节点数自动加 1,然后返回给客户端已经成功创建的目录节点名; 
             * EPHEMERAL:临时目录节点,一旦创建这个节点的客户端与服务器端口也就是 session 超时,这种节点会被自动删除; 
             * EPHEMERAL_SEQUENTIAL:临时自动编号节点  
             */  
            zk.create(path, data.getBytes(), Ids.OPEN_ACL_UNSAFE, CreateMode.EPHEMERAL);  
        }  
    }  
    @Override  
    public void apendPresistentNode(String path, String data)  
            throws KeeperException, InterruptedException {  
        // TODO Auto-generated method stub  
        if (zk != null)   
        {  
            // 创建一个节点root,数据是mydata,不进行ACL权限控制,节点为永久性的(即客户端shutdown了也不会消失)  
            /* 
             * 创建一个给定的目录节点 path, 并给它设置数据, 
             * CreateMode 标识有四种形式的目录节点,分别是  
             * PERSISTENT:持久化目录节点,这个目录节点存储的数据不会丢失; 
             * PERSISTENT_SEQUENTIAL:顺序自动编号的目录节点,这种目录节点会根据当前已近存在的节点数自动加 1,然后返回给客户端已经成功创建的目录节点名; 
             * EPHEMERAL:临时目录节点,一旦创建这个节点的客户端与服务器端口也就是 session 超时,这种节点会被自动删除; 
             * EPHEMERAL_SEQUENTIAL:临时自动编号节点  
             */  
            zk.create(path, data.getBytes(), Ids.OPEN_ACL_UNSAFE, CreateMode.PERSISTENT);  
        }  
    }  
}  
4、一个控制的线程,主要用来强制kill掉连接的线程

package ClientExample; public class ControlThread extends Thread{ public ControlThread(Thread t1,Thread t2,Thread t3,Thread t4) { list[0]=t1; list[1]=t2; list[2]=t4; list[3]=t4; } private Thread[] list = new Thread[4]; private int num=0; public void run() { while(true) { if(num==7) { list[2].stop(); System.out.println("kill server3"); } if(num==15) { list[3].stop(); System.out.println("kill server4"); } try { sleep(1000); } catch (InterruptedException e) { // TODO Auto-generated catch block e.printStackTrace(); } } } }

5、watcher 的实现:

package ClientExample; import org.apache.zookeeper.WatchedEvent; import org.apache.zookeeper.Watcher; import org.apache.zookeeper.Watcher.Event.EventType; import org.apache.zookeeper.Watcher.Event.KeeperState; /** * 提供给多个client使用的watcher * @author ransom * */ public class MultiWatcher implements Watcher{ public MultiWatcher(String address) { connectAddress=address; } private String connectAddress=null; @Override public void process(WatchedEvent event) { // TODO Auto-generated method stub String outputStr=""; if(connectAddress!=null){ outputStr+="connectIP:"+connectAddress; } outputStr+=",path:"+event.getPath(); outputStr+=",state:"+event.getState(); outputStr+=",type:"+event.getType(); System.out.println(outputStr); } }

6、client 运行 的Thread

package ClientExample; import java.io.IOException; import java.text.DateFormat; import java.text.SimpleDateFormat; import java.util.Date; import java.util.List; import org.apache.zookeeper.KeeperException; public class ClientThread extends Thread{ public ClientThread(String address,String serverName,boolean islog) { this.address=address; this.serverName=serverName; try { otherOperation(); } catch (KeeperException e) { // TODO Auto-generated catch block e.printStackTrace(); } catch (InterruptedException e) { // TODO Auto-generated catch block e.printStackTrace(); } this.islog=islog; } private boolean islog=true; private final String rootPath = "/test"; private String address; private String serverName; private ServerOperation operationCient = null; public void run() { if(operationCient==null) { System.out.println("operationCient=null"); return; } while(true){ try { if(islog){ System.out.println(serverName+",loopTime:"+getNowTime()); } observerChildData(rootPath); } catch (KeeperException e) { // TODO Auto-generated catch block System.out.println(serverName+"exception,"+e.getLocalizedMessage()); try { operationCient= new ServerConnector(); operationCient.init("127.0.0.1:2181","newServer1"); } catch (IOException e1) { // TODO Auto-generated catch block System.out.println(serverName+" reconnect exception,"+e.getLocalizedMessage()); } } catch (InterruptedException e) { // TODO Auto-generated catch block e.printStackTrace(); } try { sleep(2000); } catch (InterruptedException e) { // TODO Auto-generated catch block e.printStackTrace(); } } } /* * 测试流程 * 1、创建sever1的连接client1,并且创建一个永久性的/test节点 * 2、创建一个针对server1的临时节点 * 3、创建server2的连接client21,并创建一个针对server2的临时节点 * 4、创建server3的连接client3,并创建一个针对server3的临时节点 * 5、分别查看client1、client2、client3的三个节点的字节点数量,确定是否同步成功 * 6、修改client1的临时节点内容,然后在在client2和client3中查看 * 7、kill掉client3的线程,然后检查是watcher是否有通知给client1和client2 */ private void otherOperation() throws KeeperException, InterruptedException { operationCient= new ServerConnector(); try { operationCient.init(address,serverName); } catch (IOException e) { // TODO Auto-generated catch block e.printStackTrace(); } if(operationCient==null) { System.out.println("operationCient=null"); return; } if(!operationCient.exist(rootPath)) { operationCient.apendPresistentNode(rootPath, "this node is creat by " + serverName); } //添加临时节点 if(!operationCient.exist(rootPath+"/"+serverName)) { operationCient.apendTempNode(rootPath+"/"+serverName, "this node is creat by " + serverName); } observerChildData("/test"); //修改临时节点内容 operationCient.changeData(rootPath+"/"+serverName, "this node is changed by " + serverName); //临时节点内容 List<String> childs=operationCient.getChilds(rootPath); for(String str : childs) { System.out.println("observered by "+ serverName +": child node is :"+ str); } } //查看临时节点的同步状态 public void observerChildData(String path) throws KeeperException, InterruptedException { if(operationCient==null) { System.out.println("operationCient=null"); return; } List<String> childs=operationCient.getChilds(rootPath); if(islog){ System.out.println("observered by "+ serverName +": childs len is :"+ childs.size()); } for(String str : childs) { if(islog){ System.out.println("observered by "+ serverName +": child node is :"+ str+",data is :"+operationCient.getData(rootPath+"/"+str)); } } } public String getNowTime() { DateFormat format1 = new SimpleDateFormat("yyyy-MM-dd hh:mm:ss"); return format1.format(new Date()); } }



Python爬虫实战:采集菜谱网站数据——以“下厨房”为例 随着互联网的发展,海量优质数据为各类应用提供了坚实基础。菜谱作为用户日常生活中需求极高的内容,丰富多样的菜谱数据不仅方便用户烹饪,也为美食推荐、营养分析等研究提供了数据支持。本文将围绕国内知名菜谱网站“下厨房”(https://www.xiachufang.com)展开,结合最新Python爬虫技术,详细讲解如何高效、规范地采集菜谱数据,包括菜谱名称、食材、步骤、评分、评论等丰富信息。全篇覆盖爬虫原理、框架选型、反爬应对、数据存储和简单分析,是学习爬虫实战的绝佳案例。菜谱标题作者信息菜谱图片。 阅读详情

相关推荐

欧姆龙PLC与fanuc发那科机器人进行Ethrenet ip通信测试

近期在做发那科FANUC的通讯,会吧CC-LINK、Profibus-DP、Profinet I/O、DeviceNet、EtherNet/IP这些常用通讯做成文档发上来,大家喜欢的话可以关注 注:做对应的通讯,在机器人控制柜都需要安装对应的板卡以及软件功能 截图中的程序设置和机器人EDS插件在下面链接 https://download.youkuaiyun.com/download/gojava/13770799 PLC为主站 机器人为从站 一、硬件部分 欧姆龙PLC ...

七兔自习室 1万+

zookeeper 应用开发

由于zookeeper的client只有zookeeper一个对象,使用也比较简单,所以就不许要文字说明了,在代码中注释下就ok 了。 1、测试用的main方法 package ClientExample; public class TestMain { public static void main(String[] args) { /* * 测试

开心一刻的专栏 816

博途AI助手演示,完成简单且重复的梯形图代码,并导入到博途

自写个博途AI助手,下面演示AI帮我生成完善多个模拟量输入转换的代码,

gsjkwg的博客 1529

Scala Zookeeper 访问 Demo

import scala.collection.mutable.ArrayBuffer import scala.collection.JavaConverters._ import com.google.common.base.{Objects, Strings} import org.apache.commons.compress.utils.Charsets import org.apac...

Chdaring的博客 1282

tcmalloc(高并发内存池)简化版讲解-项目

高清发不上去,私我发高清,项目完整代码@我。

2201_75352618的博客 910

保姆级教程:用PyTorch从零实现SDE扩散模型(附完整代码与MNIST实战)

本文提供了一份详细的PyTorch教程,指导读者从零开始实现SDE扩散模型,并附有完整的代码示例和MNIST数据集实战。通过解释随机微分方程(SDE)的核心概念、模型架构设计、训练流程实现以及采样生成过程,帮助开发者掌握扩散模型的构建与应用。

weixin_28677005的博客 267

java版Zookeeper工具类

提供了节点创建与修改、节点及子节点信息查询、节点递归删除等功能的实现。

hpc_er的博客 790

【CUDA编程部署教程】第一章:GPU架构与CUDA编程核心 1

我们将剖析现代GPU的计算心脏——流式多处理器(SM),理解其独特的Warp执行模型,探索Tensor Core带来的革命性矩阵运算加速,并深入探讨决定性能命脉的内存体系。当必须访问全局内存时,则必须遵循**合并访问(Coalesced Access)**的原则,即让一个Warp内的32个线程访问连续的内存地址,从而让硬件将多次访问合并为一次高效的内存事务,以充分利用带宽。SM的调度器以Warp为单位分派指令,在一个Warp内,所有32个线程在同一时刻执行完全相同的指令,但处理的数据不同,这种模型被称为。

VectorShift的博客 221

Zookeeper客户端Curator Framework使用

常用git stash命令: (1)git stash save “save message” : 执行存储时,添加备注,方便查找,只有git stash 也要可以的,但查找时不方便识别。 (2)git stash list :查看stash了哪些存储 (3)git stash show :显示做了哪些改动,默认show第一个存储,如果要显示其他存贮,后面加stash@{$num},比如第二个 git stash show stash@{1} (4)git stash show -p : 显示第一个存储

weixin_41805792的博客 1213

4.6 知识库使用指南:如何让AI Agent拥有专业知识

本文介绍了如何为AI Agent构建和使用知识库。知识库的作用是为Agent提供专业知识,包含文档、数据和规则,可用于专业问答和知识检索。使用方法包括创建知识库(上传文档)、向量化处理、知识检索以及在Agent中的应用。核心要点是理解知识库的价值和使用流程。文章还提出了构建方法、检索优化和应用实践等思考题,建议准备高质量数据、优化检索效果并持续更新知识库。下节将介绍用LangGraph构建复杂AI应用。

yonggeit的博客 3012

Linux内核4.14版本——drm框架分析(1)——drm简介

本文介绍了DRM架构的发展历史、驱动框架以及简单示例,旨在帮助读者了解DRM架构的形成、功能流程实现。

phmatthaus的专栏 2557

Linux下 zookeeper 的安装

文章目录zookeeper的下载解压zookeeper安装包配置zookeeper启动zookeeper启动服务端启动客户端安装 zookeeper 的 C++ 开发环境参考文献 zookeeper的下载 如果大家是在虚拟机上安装可以在如下连接中下载zookeeper:微云链接 然后借助 vmtool 拖拽到虚拟机中。 如果是在云服务器可以用wget命令下载: ubuntu@VM-0-2-ubuntu:~$ wget http://archive.apache.org/dist/zookeeper/zook

0 error(s) 410

ESP32 智能垃圾分类助手:从硬件搭建到代码实现的硬核指南

基于 ESP32 的智能垃圾分类设备,充分利用了 ESP32 的外设兼容性和处理能力,通过简单的模块组合和代码编写,就能实现垃圾分类的智能化。无论是作为学生的物联网课程设计,还是家庭的环保小工具,这个项目都兼具实用性和趣味性。如果你想进一步优化功能,还可以尝试加入更多传感器(如红外传感器检测垃圾满溢),让设备更加智能。

weixin_42300449的博客 930

mac zookeeper 源码

1. 首先安装 ant              mac: brew install ant 2. 进入 zookeeper 文件夹              mac:  ant  eclipse 3. 导入idea

i am me,haha,么么哒。。。 1049

Probability and Statistics - 4th edition

Probability and Statistics - 4th edition

VB摄像头监控

该VB模块可对摄像头捕获的画面进行录像等,可在创建的窗口进行控制

Zookeeper学习笔记01

2019独角兽企业重金招聘Python工程师标准>>> ...

weixin_34258782的博客 73

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

Zookeeper之Java客户端实战

zookeeper java客户端实战

weixin_43134177的博客 1612

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

ZooKeeper相关资料集锦

1、ZooKeeper相关概念总结 https://github.com/Snailclimb/JavaGuide/blob/master/docs/system-design/framework/ZooKeeper.md 2、ZooKeeper在Windows下的安装和配置 https://blog.youkuaiyun.com/morning99/article/details/4042613...

weixin_30868855的博客 114

zookeeper命令行

ZooKeeper -server host:port cmd args stat path [watch] set path data [version] ls path [watch] delquota [-n|-b] path ls2 path [watch] setAcl path acl setquota -n|-b val path history redo cmdno printw...

weixin_34130389的博客 89

ZooKeeper客户端编程(三)

前面说了一些ZooKeeper理论上的内容,对于实践部分,想必都是跃跃欲试。这里我想主要介绍几个Java的demo来起到抛砖引玉的作用,Zookeeper客户端框架具体的细节部分若深入起来不是三言两语能解释的完的,我适当的说明一些,深入的研究还望一起努力。 图与文无关 假设你已经对zkCli的基本...

weixin_33774615的博客 187

zookeeper framework 之 Netflix curator

zookeeper framework 之 Netflix curator(完美支持永久监听) 介绍 curator是Netflix公司开源的zookeeper client library 官方地址:https://github.com/Netflix/curator/wiki/Recipes 详细介绍1:http://macrochen.iteye.com/blog/1366136/ 详细介绍...

weixin_30920513的博客 184

三、zookeeper实战部署

三、zookeeper实战部署 3.1 客户端命令行操作 1)help : 显示所有的操作指令; 2)ls path : 使用ls命令来查看当前znode的子节点 -w :监听子节点变化(只能监听一次) 3) 查看当前目录下的详细信息: ls -s path / ls2 path / stat path 4) create 创建节点 (默认创建的是:持久性无顺序号的节点) -s 含顺序号 -e 临时的 5) get path : 获得节点的值 -w 监听节点内容变化 6)

qq_26733603的博客 526

Zookeeper

优秀博客链接分享: https://blog.youkuaiyun.com/gs80140/article/details/51496925 1.ZooKeeper是分布式系统/软件的协调者,其设计保证分布式程序的健壮 性,使得应用开发人员可以更多关注应用本身逻辑,而不是协同工作,ZK是集 群的管理者,监视着集群各节点状态,并根据节点的反馈进行下一步合理操 作,最终将简单易用的接口和性能高效、功能稳定的系统提供给用户。 2.分布式应用程序可以基于 ZooKeeper 实现诸如数据发布/订阅、负载均衡、 命名.

方法属性类,一个都不会 167

Hbase记录-ZooKeeper介绍

ZooKeeper是一个分布式协调服务来管理大量的主机。协调和管理在分布式环境的一个服务是一个复杂的过程。ZooKeeper 简单解决了其结构和API这个问题。ZooKeeper允许开发人员能够专注于核心应用程序逻辑,而无需担心应用程序的分布式特性。 ZooKeeper框架始建于“雅虎”,一个简单而强大的方法用于访问应用程序。后来 Apache ZooKeeper 成为用 Hadoop,HBas...

weixin_30235225的博客 128

AI建议“抄近道”为何不靠谱?路线安全校验器的设计思路

在大模型与地理信息系统深度融合的今天,AI 能为出行规划带来诸多便利,但也隐含了不容忽视的风险。语言模型本质上是一个文本生成器,而非具备实时定位与路网拓扑计算能力的专业导航引擎,因此面对“建议一条近道”这类提问时,容易生成看似合理但未经真实地理数据验证的“幻觉”路线。本文从大模型幻觉、地图路网数据、户外导航边界与用户信任等维度切入,解析 AI 建议在户外场景中失效的根本原因,并基于 Python 实现一个最简“路线安全校验器”。该工具围绕坡度、预计到达时间、救援点距离等关键指标逐段评估路线风险,帮助开发者理

weixin_33910385的博客 419
上一篇: Jobtracker重启Job recovery过程分析
下一篇: .java.io.StreamCorruptedException: invalid type code: AC解决办法
仲夏夜有蚊子
博客等级 码龄17年 16粉丝 23原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值