
HBase
GatsbyNewton
这个作者很懒,什么都没留下…
展开
-
Hive集成HBase(一)
Hive集成HBase(一)Hive集成HBase(二)在介绍Hive集成HBase的使用之前,我们先看看Hive和HBase之间通信用到的一个包,这个包至关重要,容不得有半点差池,否则就会集成失败。下面这个官网链接可供参考https://cwiki.apache.org/confluence/display/Hive/StorageHandlers。因此,第一篇文章先讨论Hive和H原创 2016-03-14 22:58:55 · 4430 阅读 · 3 评论 -
Bulkload Hive表到HBase
1.描述HBase可以随机读写海量的数据,但是如果把这海量数据导入到HBase却是一个挑战。如,将Hive表尽可能快的导入到HBase中。这里有以下三种解决方案:使用API把数据一条一条地写入HBase。用HBaseIntegration方法。使用HBase自带的Bulkload功能。但是,第一种方法明显是最低效的;第二种方法我之前已经提到过,同样比较慢;那么,第三种方原创 2016-04-04 10:45:24 · 5054 阅读 · 1 评论 -
Hive集成HBase(二)
Hive集成HBase(一)Hive集成HBase(二)1.添加依赖jar在Hive启动时添加依赖jar:hive-hbase-handler-x.y.z.jar和编译hive-handler源码时依赖的jar。添加jar时,有两种方法:在Hive CLI启动时添加,在Hive CLI启动后用ADD jar添加。对于单节点的HBase服务器,Hive CLI启动时:原创 2016-03-16 15:38:52 · 2788 阅读 · 2 评论 -
HBase row key hotspotting
在HBase中,RegionServer hotspotting现象是很常见的。hotspotting问题的描述是这样的:当使用一个连续的row keys(sequential row keys),以便于使用start key和stop key高效地读取数据时,此时将在写数据时,造成RegionServer hotspotting。下面将会介绍怎么避免这个问题。Problem Descript原创 2016-07-10 11:27:25 · 2149 阅读 · 1 评论