Hadoop, HBase, Zookeepr insanity

原创于 2012-11-16 22:35:54 发布 · 604 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#eclipse #Eclipse #hadoop #Hadoop #hbase #linux #Linux #LINUX #zookeeper

linux 同时被 3 个专栏收录

6 篇文章

订阅专栏

hbase

5 篇文章

订阅专栏

hadoop

4 篇文章

订阅专栏

本文介绍在使用Eclipse导出项目时如何避免因依赖冲突导致的部署错误，特别指出在Hadoop、HBase及Zookeeper的版本选择上需要注意的兼容性问题，并给出具体解决方案。

1.使用Eclipse 导出(Export)的时候，这样选择来避免兼容性错误

Hadoop, HBase, 独立Zookeeper有自己的一套库，需要在Eclipse生成的Dependence文件夹中删除后两个多余的库，否则部署到集群上时会出错。类似的重复库最好也删掉。。。

兼容的问题：

可以工作的版本:

hbase-0.94.2

zookeeper-3.4.2

hadoop-0.20.2

（hbase一定不要使用3.4.4......）

			put.add(Bytes.toBytes("category"), Bytes.toBytes("on"),
					Bytes.toBytes(InetAddress.getLocalHost().getHostName()));
			context.write(new ImmutableBytesWritable(value.getBytes()), put);

这样把LocalHost的HostName存到HBase中，这样可以验证HBase的Mapper, Reducer运行在slave上

scan下来的结果。

apache基金会应该出一个版本兼容性的文档，浪费我大把时间。。。