Hadoop&HBase&Zookeeper
关注
分享
扫一扫
文章平均质量分 90
wjy320
这个作者很懒，什么都没留下…
展开
-
Ubutun上配置hadoop，hbase，zookeeper环境并安装
声明：用到的所有安装包，我回上传到网盘，博客尾部给出下载地址． 1.首先，我们应该在ubutun上安装jdk:Step1:# 将解压好的jdk1.8.0_05文件夹用最高权限复制到/usr/lib/jvm目录里sudo cp -r ~/jdk1.8.0_05/ /usr/lib/jvm/jdk1.8.0_05Step2:# 配置环境变量sudo gedit ...原创 2014-06-07 15:27:02 · 197 阅读 · 0 评论 -
zookeeper杂记
最近在看关于ZK的博客，有一些感觉很不错的内容。这篇博客是我认为比较重要的内容我把它们收集起来，便于以后看： zookeeper的一些处理原则zookeeper的一些处理原则1.可靠 delivery 如果消息m被一台服务器delivered，它会被所有服务器delivered2.完全有序 如果消息a在一台服务器上先于消息b被de...原创 2014-06-24 10:00:18 · 189 阅读 · 0 评论 -
(转)ZooKeeper的实现分析
最近在大量看关于Zookeeper的博客，发现一篇讲解ZK实现很详细的博客，特此转载一下：原博客地址：http://my.oschina.net/zhengyang841117/blog/1866001 Zookeeper介绍 Zookeeper是一个分布式的协调服务，为分布式应用程序提供synchronization、configuration main...原创 2014-06-20 11:44:43 · 296 阅读 · 0 评论 -
zookeeper学习(八)
在ubutun上用了一下ZK的java的api．感觉不错，挺好用的．当然首先要启动ZK服务器． 然后需要向Eclipse工程中导入三个包：最后看看代码：package com.wjy.zk;import java.io.IOException;import org.apache.zookeeper.CreateMode;import org.apache.z...原创 2014-06-18 21:52:52 · 128 阅读 · 0 评论 -
zookeeper学习(七)
最近看到一个利用ZK的Watch机制实现Barrier的例子，因为Watch是一个很典型的类似观察者模式的机制，程序中很巧妙的使用一个Integer做为互斥量(mutex)。触发watch的process的时候，notifyAll。开始看的时候有一点晕，之后想了想恍然大悟,既然所有的类都继承自Object类，那么当然所有的类都会继承Object的wait,notify和notif...原创 2014-06-18 15:48:17 · 117 阅读 · 0 评论 -
Ｚookeeper客户端初试
最近按照之前转载的博客配了一下Ｚookeeper，先启动了服务器，又试了几个客户端命令，截个图纪念一下：服务器启动： 客户端执行命令： 推荐阿里前辈的一个系列博客：http://nileader.blog.51cto.com/1381108/d-16还有一个阿里的开源项目网站：http://code.taobao.org/opensources/...原创 2014-06-16 19:23:17 · 103 阅读 · 0 评论 -
自己写的第一个map-reduce程序
今天尝试自己写了一个map-reduce程序，感觉不错．程序完成的是wordcount的功能，代码贴出来纪念一下：package com.wjy.hadoop;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.conf....原创 2014-06-13 19:38:39 · 160 阅读 · 0 评论 -
(转)使用ZooKeeper实现的两个实例
我们来看看，利用ZK实现分布式锁和实现实时更新server列表的功能的例子，转自： http://coolxing.iteye.com/blog/1871630 http://coolxing.iteye.com/blog/1871520*************************...原创 2014-06-12 16:28:37 · 323 阅读 · 0 评论 -
(转)Zookeeper的安装配置以及Java的API
最近在大量看有关ZooKeeper的博客，有关Zookeeper配置和Java的Api的博客发现了两篇，特此转载于此。向原作者致敬。 转自： http://coolxing.iteye.com/blog/1871009 http://coolxing.iteye.com/...原创 2014-06-12 15:20:58 · 135 阅读 · 0 评论 -
zookeeper学习(六)
下面列举一些，ZooKeeper的命令操作实例: 连接serverbin/zkCli.sh -server 10.1.39.43:4180 列出指定node的子node[zk: 10.1.39.43:4180(CONNECTED) 9] ls / [hello, filesync, zookeeper, xing, server, group, ...原创 2014-06-12 15:00:21 · 122 阅读 · 0 评论 -
zookeeper学习(五)
Watch的注意事项： 1.Watches通知是一次性的，必须重复注册.2.同一个ZK客户端，反复对同一个ZK节点（znode）注册相同的watcher，是无效的，最终只会有一个生效。3.发生CONNECTIONLOSS之后，只要在session_timeout之内再次连接上（即不发生SESSIONEXPIRED），那么这个连接注册的watches依然在。4.客户端会话...原创 2014-06-12 11:23:24 · 127 阅读 · 0 评论 -
zookeeper学习(四)
首先来了解一下ZooKeeper的数据模型，源代码中会有很多诸如zxid, czxid等这样的变量，那这些到底是什么呢？我在网上查了一些资料，分享一下： 以上举的那两个例子，叫做Zk的节点(znode)的状态信息，可以通过get命令获取，成为Stat: czxidThe zxid of the change that caused thi...原创 2014-06-12 10:28:02 · 118 阅读 · 0 评论 -
zookeeper学习(三)
我想了想，还是决定将那篇讲ZAB协议的文章转载过来，ZK中提交事务采用的就是ZAB协议。 转自：http://blog.youkuaiyun.com/m_vptr/article/details/9325405建议还是看原文，我转载到这里利于我查看。向原作者致敬。ps:个人感觉原博客的一张图画错了，就是那张Leader和Follower的通信图。个人感觉Commit应该...原创 2014-06-10 16:03:18 · 118 阅读 · 0 评论 -
zookeeper学习(二)
今天发现了一篇超级好的入门zookeeper的博客，是超级好。讲的很清晰，导致我忍不住想把它转过来收藏起来。 这篇博客是IBM Developer Works社区上的，属于ZK的入门帖子。但是讲的很清晰，看来学计算机英语好是很重要的，英语好的话可以多阅读一些apache的官方文档，对ZK的理解也会更深刻。下来我把这篇博客转载过来，原博客地址：http://www....原创 2014-06-10 10:23:46 · 106 阅读 · 0 评论 -
zookeeper学习(一)
最近在看Zookeeper的源码，发现有很多包名中有“jute”的字符，查了一下，原来是这样的： 1. 在看ZooKeepr的实现是，发现了有几个包缺失了（e.g. data, proto)。以为是code下载错了，后来发现，其实这些包的code都是由Jute自动生成的。 Jute主要用到了JavaCC。以前还总是想着使用Bison和JNI来做一个编译...原创 2014-06-09 15:06:06 · 216 阅读 · 0 评论 -
Zookeeper中ZooKeeperServer们的分析
最近在看ZooKeeper的源码，在zookeeper中用LeaderZooKeeperServer , FollowerZooKeeperServer和ObserverZooKeeperServer 这三个类来实现三种类型的服务器节点。 他们之间的关系是这样的，我用viso画张图先： Zookeeper采用了责任链模式处理他们...原创 2014-06-24 22:15:48 · 379 阅读 · 0 评论