zookeeper
关注
分享
扫一扫
liyonghui123
唐山人士
展开
-
ZooKeeper集群安装配置
1， 安装准备 1.1 下载zookeeper1.2 安装jdk : 我的是jdk-1.6.0_141.3 系统： linux :centos-141.4 hadoop安装配置： 192.168.201.128 namenode 192.168.201.131 datanode 192.168.201.132 datanode 2，操作步骤2.1 复制以上文件到/usr...原创 2014-05-14 10:23:46 · 160 阅读 · 0 评论 -
zookeeper api Zookeeper的数据发布与订阅模式
1.发布订阅的基本概念 1.发布订阅模式可以看成一对多的关系：多个订阅者对象同时监听一个主题对象，这个主题对象在自身状态发生变化时，会通知所有的订阅者对象，使他们能够自动的更新自己的状态。 2.发布订阅模式，可以让发布方和订阅方，独立封装，独立改变，当一个对象的改变，需要同时改变其他的对象，而且它不知道有多少个对象需要改变时，可以使用发布订阅模式 ...原创 2016-09-09 15:11:09 · 243 阅读 · 0 评论 -
zookeeper学习（Curator客户端）
Curator框架是最好用，最流行的zookeeper的客户端。 它有以下三个优点 1.提供了一套非常友好的操作API; 2. 提供一些高级特性（包括但不仅限于前篇文章中提到的）的封装 3.易测试 maven依赖如下 <dependency> <groupId>org.apache.curator&l...原创 2015-10-14 15:28:53 · 165 阅读 · 0 评论 -
zkClient 监控机制实现
直接使用zk的api实现业务功能比较繁琐。因为要处理session loss，session expire等异常，在发生这些异常后进行重连。又因为ZK的watcher是一次性的，如果要基于wather实现发布/订阅模式，还要自己包装一下，将一次性订阅包装成持久订阅。另外如果要使用抽象级别更高的功能，比如分布式锁，leader选举等，还要自己额外做很多事情。这里介绍下ZK的两个...原创 2015-07-15 15:55:56 · 373 阅读 · 0 评论 -
ZooKeeper原理及使用 （转）
ZooKeeper是Hadoop Ecosystem中非常重要的组件，它的主要功能是为分布式系统提供一致性协调(Coordination)服务，与之对应的Google的类似服务叫Chubby。今天这篇文章分为三个部分来介绍ZooKeeper，第一部分介绍ZooKeeper的基本原理，第二部分介绍ZooKeeper提供的Client API的使用，第三部分介绍一些ZooK...原创 2015-07-13 09:48:06 · 140 阅读 · 0 评论 -
Flume-1.5.0+Kafka_2.9.2-0.8.1.1+Storm-0.9.2整合
Flume-1.5.0+Kafka_2.9.2-0.8.1.1+Storm-0.9.2 分布式环境整合# 整合场景使用Flume监控指定目录，出现新的日志文件后将文件数据传到Kafka，最后由Storm从Kafka中取出数据并显示、、、# Flume+Kafka的整合# Flume的fks001.conf的配置文件监控指定目录/usr/local/yting/flume/tdata/td...原创 2014-07-22 10:12:40 · 422 阅读 · 0 评论 -
storm kill不掉运行的Topology
storm程序kill是出现错误，storm kill不掉运行的Topology Topology 的持久化状态包括： active, inactive, killed, rebalancing 四个状态。代码上看到每种状态都可以转换成一些持久化 ( 写入到 zk 中的状态 ) 或者中间状态。 我们在shell上的操作实际上就是改变的zookeeper数据...原创 2014-12-27 12:56:02 · 1177 阅读 · 0 评论 -
ZooKeeper示例 实时更新server列表
实现AppServerAppServer的逻辑非常简单, 只须在启动时, 在zookeeper的"/sgroup"节点下新增一个子节点即可. public class AppServer { private String groupNode = "sgroup"; private String subNode = "sub"; ...原创 2014-12-21 21:21:50 · 201 阅读 · 0 评论 -
curator实现的zookeeper分布式锁服务
分布式锁保证了对数据的唯一访问,确保多线程数据的正确. import java.util.concurrent.CountDownLatch;import java.util.concurrent.ExecutorService;import java.util.concurrent.Executors;import java.util.concurrent.T...原创 2014-12-21 16:33:31 · 592 阅读 · 0 评论 -
flume-ng+Kafka+Storm+HDFS 实时系统组合
flume-ng+Kafka+Storm+HDFS 实时系统组合 1）.数据采集负责从各节点上实时采集数据，选用cloudera的flume来实现2）.数据接入由于采集数据的速度和数据处理的速度不一定同步，因此添加一个消息中间件来作为缓冲，选用apache的kafka3）.流式计算对采集到的数据进行实时分析，选用apache的storm4）.数据输出对...原创 2014-07-10 14:05:44 · 172 阅读 · 0 评论 -
zookeeper设置JVM内存的方法
文件路径：zookeeper/bin/zkEnv.sh 该文件已经明确说明有独立JVM内存的设置文件，路径是zookeeper/conf/java.env大家可能会说，没有看到这个路径下有java.env文件啊，那如果没看到就自己搞一个好了java.env文件内容如下： #!/bin/shexport JAVA_HOME=$ZOOBINDIR/../../j...原创 2014-07-02 15:26:02 · 4806 阅读 · 0 评论 -
ZooKeeper伪分布式集群安装及简单使用 java api
ZooKeeper整体介绍 一：环境centosjdk1.6zookeeper-3.4.3 下载二：配置将解压出来的zookeeper 复制三份，这里分别叫做 zookeeper-1，zookeeper-2和zookeeper-3。1. zookeeper-1 配置：创建data目录：/home/java2000_wl/hadoop/zookeeper-1/data创建lo...原创 2014-07-02 11:09:12 · 196 阅读 · 0 评论 -
Zookeeper .Net客户端代码
本来此客户端可以通过NuGet获取，如果会使用NuGet, 则可以使用命令Install-Package ZooKeeperNet（需要最新版本的NuGet）如果不会，就去 NuGet官网了解http://docs.nuget.org/docs/start-here/using-the-package-manager-console如果你想自己编译 你可以去GitHub下载源码https...原创 2014-06-13 09:38:31 · 191 阅读 · 0 评论 -
Zookeeper JAVA API
Zookeeper JAVA API /* * ZookeeperTest.java */ package com.x.zookeeper; import java.io.IOException; import java.util.List; import o...原创 2014-11-11 18:17:40 · 188 阅读 · 0 评论