
Zookeeper
XiaoGuang-Xu
主要从事Hadoop Spark Flink,兴趣爱好:数据挖掘和机器学方向
展开
-
Zookeeper 进阶之—
Zookeeper 进阶之——Zookeeper编程示例(如何使用Zookeeper实现屏障Barriers和队列Queues)http://www.cnblogs.com/haippy/archive/2012/07/26/2609769.htmlZookeeper 进阶之——典型应用场景(二)http://www.cnblogs.com/haippy/archive转载 2015-03-09 20:18:09 · 460 阅读 · 0 评论 -
Zookeeper之监听事件总结
zookeeper之监听事件总结http://blog.youkuaiyun.com/liu857279611/article/details/704954131. zookeeper的Watch机制 一个zk的节点可以被监控,包括这个目录中存储的数据的修改,子节点目录的变化,一旦变化可以通知设置监控的客户端,这个功能是zookeeper对于应用最重要的特性,通过这个特性可以实现的转载 2017-11-13 15:22:47 · 2167 阅读 · 0 评论 -
使用Zookeeper实现Leader(Master)选举
使用Zookeeper实现Leader(Master)选举http://blog.youkuaiyun.com/MassiveStars/article/details/53894551应用场景分布式系统最典型的架构就是一主多从。在很多时候,虽然处理大规模的数据、图像和文件等,这种工作极其耗资源而且数据、文件等都是共享的,若全部机器都计算处理一次会浪费保贵的计算资源;我们可以把这些工作交给一台转载 2017-11-13 15:39:48 · 602 阅读 · 0 评论 -
使用ZooKeeper实现队列
使用ZooKeeper实现队列http://blog.youkuaiyun.com/massivestars/article/details/53870399实现原理先进先出队列是最常用的队列,使用Zookeeper实现先进先出队列就是在特定的目录下创建PERSISTENT_EQUENTIAL节点,创建成功时Watcher通知等待的队列,队列删除序列号最小的节点用以消费。此场景下Zookeeper转载 2017-11-13 15:43:12 · 397 阅读 · 0 评论 -
Zookeeper使用Ant 编译源代码报错
E:\1_Zookeeper\WS_Zookeeper\zookeeper-master>ant.bat eclipseBuildfile: E:\1_Zookeeper\WS_Zookeeper\zookeeper-master\build.xmlant-eclipse-download: [get] Getting: http://downloads.source原创 2017-11-10 21:20:45 · 2337 阅读 · 0 评论 -
使用Zookeeper实现分布式锁
使用Zookeeper实现分布式锁http://blog.youkuaiyun.com/massivestars/article/details/53771532实现原理Zookeeper的一个典型应用场景就是分布式锁,锁的实现是利用Zookeeper创建的临时时序节点(创建的时候CreateMode为EPHEMERAL_SEQUENTIAL)和节点变动的监听器实现的。时序节点保证了节点的创建在分转载 2017-11-13 15:44:53 · 320 阅读 · 0 评论 -
使用第三方ZKClient 读取Zk数据报错
使用第三方ZKClient 读取Zk数据报错:Exception in thread "main" org.I0Itec.zkclient.exception.ZkMarshallingError: java.io.EOFExceptionat org.I0Itec.zkclient.serialize.SerializableSerializer.deserialize(Seri原创 2017-11-17 18:05:56 · 2725 阅读 · 1 评论 -
什么时候使用CountDownLatch
什么时候使用CountDownLatch本文由 ImportNew - 张涛 翻译自 howtodoinjava。欢迎加入翻译小组。转载请见文末要求。正如每个Java文档所描述的那样,CountDownLatch是一个同步工具类,它允许一个或多个线程一直等待,直到其他线程的操作执行完后再执行。在Java并发中,countdownlatch的概念是一个常见的面试题,所以一定要确保转载 2017-11-13 15:19:30 · 319 阅读 · 0 评论 -
基于zookeeper应用——简单统一命名服务实现
基于zookeeper应用——简单统一命名服务实现 分类: 分布式计算/hadoop(16) zookeeper的应用在http://www.ibm.com/developerworks/cn/opensource/os-cn-zookeeper/index.html上已经列举出来,本文根据自己业务需要,实现了公司的统转载 2016-04-17 09:10:41 · 6986 阅读 · 2 评论 -
Paxos算法与Zookeeper分析
Paxos算法与Zookeeper分析http://blog.youkuaiyun.com/xhh198781/article/details/109496971 Paxos算法1.1 基本定义算法中的参与者主要分为三个角色,同时每个参与者又可兼领多个角色:⑴proposer 提出提案,提案信息包括提案编号和提议的value;⑵accepto转载 2017-11-14 17:34:41 · 218 阅读 · 0 评论 -
分布式系列文章——Paxos算法原理与推导
分布式系列文章——Paxos算法原理与推导http://www.cnblogs.com/linbingdong/p/6253479.htmlPaxos算法在分布式领域具有非常重要的地位。但是Paxos算法有两个比较明显的缺点:1.难以理解 2.工程实现更难。网上有很多讲解Paxos算法的文章,但是质量参差不齐。看了很多关于Paxos的资料后发现,学习Paxos最好的转载 2017-11-15 11:41:49 · 295 阅读 · 0 评论 -
分布式系列文章——从ACID到CAP/BASE
分布式系列文章——从ACID到CAP/BASEhttp://www.cnblogs.com/linbingdong/p/6178488.html事务事务的定义:事务(Transaction)是由一系列对系统中数据进行访问与更新的操作所组成的一个程序执行逻辑单元(Unit),狭义上的事务特指数据库事务。事务的作用:当多个应用程序并发转载 2017-11-16 10:32:49 · 324 阅读 · 0 评论 -
Zookeeper学习资料
Zookeeper学习资料http://www.cnblogs.com/haippy/category/398525.htmlhttp://www.cnblogs.com/haippy/archive/2012/07/19/2599989.html原创 2015-03-09 20:18:58 · 481 阅读 · 0 评论 -
ZooKeeper实战应用之【统一配置管理】
ZooKeeper实战应用之【统一配置管理】原文: http://blog.youkuaiyun.com/u010739551/article/details/52278314大型应用通常会按业务拆分成一个个业务子系统,这些大大小小的子应用,往往会使用一些公用的资源,比如:需要文件上传、下载时,各子应用都会访问公用的Ftp服务器。如果把Ftp Server的连接IP、端口号、用转载 2017-11-13 15:12:25 · 265 阅读 · 0 评论 -
Zookeeper资料整理
Zookeeper源码分析zookeeper源码分析:对leader选举过程分析的纠正zookeeper源码分析:Leader与Follower同步数据流程zookeeper源码分析:FastLeader选举算法zookeeper源码分析:工作原理概述ZooKeeper客户端地址列表的随机原理ZooKeeper 会话超时ZooKeeper 数据模型ZooKeeper Watcher转载 2015-08-05 19:01:45 · 563 阅读 · 0 评论 -
win7下Ant编译Zookeeper源码为Eclipse工程
1、安装ant(1)下载ant,我下载的是apache-ant-1.9.4-bin.zip(地址:http://ant.apache.org/bindownload.cgi)(2)解压到特定目录,设置ANT_HOME(ant的解压路径)和path(%ANT_HOME%\bin)(3)打开cmd,运行ant -version,出现版本信息说明安装成功了。2、下载Zoo原创 2017-11-10 21:06:20 · 327 阅读 · 0 评论 -
使用ZooKeeper实现的两个实例
使用ZooKeeper实现的两个实例http://itindex.net/detail/49988-zookeeper分享到:出处:http://www.iteye.com转载 2015-03-09 10:35:02 · 808 阅读 · 0 评论 -
ZooKeeper编程
杂记ZooKeeper的用途:distributed coordination;maintaining configuration information, naming, providing distributed synchronization, and providing group services.Zookeeper的节点都是存放在内存中的,所以读写速度很快。更新日志被记转载 2015-05-02 10:42:43 · 482 阅读 · 0 评论 -
利用curator实现的zookeeper分布式锁服务
Curator是Netflix开源的一套ZooKeeper客户端框架,用它来操作zookeeper更加简单方便,按Curator官方所比喻的,guava to JAVA, Curator to Zookeeper,Curator采用了fluent风格的代码,非常简洁。 主要看下,使用curator操作zookeeper的一些基础例子: 主要的功能: 1,在zk上添加,或更新数据 2转载 2015-05-02 10:01:28 · 3371 阅读 · 0 评论 -
ZooKeeper 数据模型
ZooKeeper 数据模型 http://coolxing.iteye.com/blog/1871328ZooKeeper的数据结构, 与普通的文件系统极为类似. 见下图:图片引用自developerworks图中的每个节点称为一个znode. 每个znode由3部分组成:stat. 此为状态信息, 描述该znode的版本, 权限等信息.da转载 2015-07-09 16:31:53 · 567 阅读 · 0 评论 -
基于ZooKeeper的分布式Session实现
基于ZooKeeper的分布式Session实现转载URL :http://blog.youkuaiyun.com/jacktan/article/details/61128061. 认识ZooKeeperZooKeeper—— “动物园管理员”。动物园里当然有好多的动物,游客可以根据动物园提供的向导图到不同的场馆观赏各种类型的动物,而不是像走在原始丛林里,心惊胆颤的被动 物所转载 2016-04-11 12:55:36 · 477 阅读 · 0 评论 -
基于Zookeeper的服务注册与发现
基于Zookeeper的服务注册与发现2015.12.25 12:25:12来源: 51cto作者:51cto ( 0 条评论 ) 背景大多数系统都是从一个单一系统开始起步的,随着公司业务的快速发展,这个单一系统变得越来越庞大,带来几个问题:1. 随着访问量的不断攀升,纯粹通过提升机器的性能来已经不能解决问题,系统无法进行有效的水平扩展转载 2016-04-17 09:02:20 · 1224 阅读 · 0 评论 -
分布式服务框架 Zookeeper -- 管理分布式环境中的数据
安装和配置详解本文介绍的 Zookeeper 是以 3.2.2 这个稳定版本为基础,最新的版本可以通过官网http://hadoop.apache.org/zookeeper/来获取,Zookeeper 的安装非常简单,下面将从单机模式和集群模式两个方面介绍 Zookeeper 的安装和配置。单机模式单机安装非常简单,只要获取到 Zookeeper 的压缩包并解压到某个转载 2016-04-17 09:22:26 · 550 阅读 · 0 评论 -
基于Zookeeper的分步式队列系统集成案例
Hadoop家族系列文章,主要介绍Hadoop家族产品,常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa,新增加的项目包括,YARN, Hcatalog, Oozie, Cassandra, Hama, Whirr, Flume, Bigtop, Crunch, Hue等。从2转载 2016-04-17 09:34:30 · 602 阅读 · 0 评论 -
ZooKeeper实现分布式FIFO队列
ZooKeeper实现分布式FIFO队列让Hadoop跑在云端系列文章,介绍了如何整合虚拟化和Hadoop,让Hadoop集群跑在VPS虚拟主机上,通过云向用户提供存储和计算的服务。现在硬件越来越便宜,一台非品牌服务器,2颗24核CPU,配48G内存,2T的硬盘,已经降到2万块人民币以下了。这种配置如果简单地放几个web应用,显然是奢侈的浪费。就算是用来实现单节点的hadoop,对计算转载 2016-12-06 16:26:40 · 769 阅读 · 0 评论 -
ZooKeeper实现分布式队列Queue
ZooKeeper实现分布式队列Queue让Hadoop跑在云端系列文章,介绍了如何整合虚拟化和Hadoop,让Hadoop集群跑在VPS虚拟主机上,通过云向用户提供存储和计算的服务。现在硬件越来越便宜,一台非品牌服务器,2颗24核CPU,配48G内存,2T的硬盘,已经降到2万块人民币以下了。这种配置如果简单地放几个web应用,显然是奢侈的浪费。就算是用来实现单节点的hadoop,对计转载 2016-12-06 16:28:38 · 560 阅读 · 0 评论 -
CuratorFramework实现zookeeper文件夹与文件的上传下载
原文URL: http://blog.youkuaiyun.com/cjuexuan/article/details/49612153需求近期有一个solr项目,用户可以将自定义的配置文件与文件夹上传和下载到zookeeper中,原来一种做法是用solr中提供的ZkCLI实现,不过那个比较重,而且定制化也一般,所以我打算自己封装一个轻量级的Util工具,原来打算用原生的实现,不过后转载 2017-03-15 09:52:01 · 878 阅读 · 0 评论 -
Paxos 算法
主要参考:百度百科Paxos 算法 编辑Paxos算法是莱斯利·兰伯特(Leslie Lamport,就是 LaTeX 中的"La",此人现在在微软研究院)于1990年提出的一种基于消息传递的一致性算法。这个算法被认为是类似算法中最有效的。Paxos算法是莱斯利·兰伯特(Leslie Lamport,就是 LaTeX 中的"La",此人在微软研究院)转载 2017-11-15 10:01:09 · 361 阅读 · 0 评论