小白菜

最近R通过thrift连接hbase经常报出如下错误，该问题一般是连接超时引起的，可通过修改配置文件解决。2016-10-09 14:33:58,573 WARN [thrift-worker-13] thrift.ThriftServerRunner$HBaseHandler: Can't get the locationorg.apache.hadoop.hbase.client.Retri

在hadoop集群中snappy是一种比较好的压缩工具，相对gzip压缩速度和解压速度有很大的优势，而且相对节省cpu资源，但压缩率不及gzip。在此不讨论孰优孰劣，各有各的用途。 在此，hadoop集群采用的版本是hadoop-2.6.0-cdh5.9.0，系统是centos7.2。安装前提：java 7(使用java 8会报一个错误)java安装并配置PATH# rpm -ivh jdk-7u

目前监控hadoop集群的主要工具有ganglia，nagios，zabbix等。其中ganglia最方便，hadoop中有自带jmx接口，启用了就行，但使用默认的监控方式，监控服务器磁盘会吃不消，并产生大量数据，故需要进行过滤（支持正则表达式），能过滤大量无用信息，但效果没有想象的好，个人觉得主要原因在于ganglia默认界面太丑，重复图片过多，一个监控项有四个图，占位置，且默认使用rrd数据库，

如若启动方式采用如下形式：# start-hbase.sh发现master和region都起来了，但master中日志中一直打印如下日志：2017-03-13 17:00:39,368 INFO [d721:60000.activeMasterManager] master.ServerManager: Waiting for region servers count to settle; cur

在hbase shell中查询数据，可以在hbase shell中直接使用过滤器：# hbase shell> scan 'testByCrq', FILTER=>"ValueFilter(=,'substring:111')"如上命令所示，查询的是表名为testByCrq，过滤方式是通过value过滤，匹配出value含111的数据。 因在hbase shell中一些操作比较麻烦（比如删除字符

应数据部门需要，R要调用hbase。因已安装了thrift框架并启动了服务，所以便直接安装了rhbase包，安装完毕后，调用rhbase：# R>library(rhbase)>hb.init() <pointer: 0x16494a0> attr(,"class") [1] "hb.client.connection">hb.list.tables() 未定义

hbasefly http://hbasefly.com/2016/08/09/hbase-cms-gc/ HBase最佳实践－CMS GC调优

今天通过java进行数据导入，导入数据很慢，慢到可以忽略不计，故查看日志,出现如下类似错误：org.apache.hadoop.hbase.NotServingRegionException: Region is not online可先通过hbase hbck进行检查是否正常，一般会提示不一致（INCONSISTENT），一般方法为通过命令：hbase hbck -fix修复。修复成功状态为OK。

修改hbase的配置文件conf/hbase-env.sh,将以下内容注释取消：# export HBASE_JMX_BASE="-Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.authenticate=false"# export HBASE_MASTER_OPTS="$HBASE_MASTER_OP

因协处理器涉及不当导致regionserver停工，没法启动，可以先在配置文件hbase-site.xml文件中将hbase.coprocessor.abortonerror设为false。让hbase继续启动，但此事你无法见协处理器卸载，若要将其卸载，需创建backup-master，创建方法为，新建配置文件：backupmasters，在此文件中键入backup -master的hostname

系统自带工具yum，rpm命令卡死，（无错误提示）解决参考（ref）：http://www.aikaiyuan.com/10643.html （重点：rpm包的数据库遭到损坏，执行 rm -f /var/lib/rpm/__db.00* 和 rpm –rebuilddb 命令即可。）