
hbase
zj360202
这个作者很懒,什么都没留下…
展开
-
hadoop是由mapreduce和hdfs组成的
1、mapreduce就是hadoop的api,如果在使用hadoop的mapper和reducer的api的时候就是在使用mapreduce,就会启动hadoop集群,利用hadoop集群解决问题,如果在开发中没有使用hdfs://master:9000这样的输入输出等,就不会使用到hdfs,换言之,就是hdfs就是一个存储系统,在不安装hadoop的情况下,只使用hadoop的api也就是在使原创 2013-01-26 10:11:00 · 1021 阅读 · 0 评论 -
hbase rowkey热点问题
1.按rowkey倒排序,为了解决最新插入的数据被最先访问的要求,那样的话,就有可能使的一批rowkey最大的在一台regin中,产生热点问题 2.可以在rowkey中加入表信息,一般多个表的数据分散到多个region上,可以每一个表的最新数据就会分散到所有的region中去,在一定程度上解决热点问题原创 2013-01-30 17:07:00 · 1273 阅读 · 0 评论 -
hbase的limit实现
scan 'fct_pf_vs_hour',{LIMIT=>5} 大家可以修改一下hbase中hbase-0.92.1-cdh4.1.2\src\main\ruby\hbase\table.rb中的scan方法来实现类似分页的操作; 随便贴下scan方法的ruby代码 def scan(args = {}) unless args.kind_of?(Hash)原创 2013-03-20 17:44:36 · 10894 阅读 · 0 评论 -
hbase的shell脚本是通过ruby实现的
hbase中的shell命令是通过ruby实现的,所有的命令都在 hbase-0.92.1-cdh4.1.2\src\main\ruby 目录下面,在shell中通过hbase shell启动hbase-->hirb.rb 加载ruby文件,通过hbase-0.92.1-cdh4.1.2\src\main\ruby\shell.rb 中配置的命令实现对hbase的操作,下面是shel原创 2013-03-20 17:39:10 · 1915 阅读 · 0 评论 -
hbase-0.96.1.1-cdh5.0.0-beta2中BaseRegionObserver对应的coprocessor部署
1.将开发好的jar包,放到hdfs路径下面 2.在hbase-site.xml中配置对应的类 hbase.coprocessor.region.classes org.cloud.xigua.coprocessor.Product,org.cloud.xigua.coprocessor.User,org.cloud.xigua.coprocessor.Subject原创 2014-03-14 14:21:34 · 2043 阅读 · 2 评论