知识的力量

概述HBase是一个构建在HDFS上的分布式列存储系统；HBase是基于Google BigTable模型开发的，典型的key/value系统；HBase是Apache Hadoop生态系统中的重要一员，主要用于海量结构化数据存储；从逻辑上讲，HBase将数据按照表、行和列进行存储。与hadoop一样，Hbase目标主要依靠横向扩展，通过不断增加廉价的商用服

官网介绍:http://hbase.apache.org/book.html#hbck.in.depthhbck深入HBaseFsck（hbck）是一个用于检查区域一致性和表完整性问题并修复损坏的HBase的工具。它工作在两种基本模式 - 只读不一致识别模式和多阶段读写修复模式。C.1。运行hbck来识别不一致要检查您的HBase集群是否损坏，请针对您的HBase集群运行hbck：$ ./bin/...

50% write  ，50% update    2000万数据1. 修改的参数hbase:hbase_master_heap 20Ghbase_regionserver_heap 24Ghfile.block.cache.size  0.2hbase.regionserver.global.memstore.size  0.6hbase.regionserver.h

转载地址:http://komi.leanote.com/post/tpcds%E5%92%8Cycsb%E8%B0%83%E4%BC%98%E6%80%BB%E7%BB%93tpcds和ycsb是业界衡量性能的测试基准,为技术选型做一些参考，同时也可以通过它来做调优基准，其中包含大数据领域。本文介绍是利用tpcds和ycsb测试结果调优spark sql和hbase读写性能。

hbase(main):001:0> status1 active master, 1 backup masters, 14 servers, 0 dead, 9.2143 average loadhbase(main):002:0> status 'simple'active master:  ****-nn-02.cars.com:16000 1511358286343

转载地址：https://learnhbase.wordpress.com/2013/03/02/hbase-shell-commands/#commentsHBase shell commandsAs told in HBase introduction, HBase provides Extensible jruby-based (JIRB) shell

源Blog地址：http://blog.youkuaiyun.com/yangbutao/article/details/12911487HBase以往数据的备份基于distcp或者copyTable等工具，这些备份机制或多或少对当前的online数据读写存在一定的影响，Snapshot提供了一种快速的数据备份方式，无需进行数据copy。参见下图Snap

#/bin/bash table="AS60_node_dirAS60_node_dir_idxEAS60_node_dir_idxPAS60_node_dir_idxRAS60_node_dir_idxSreturn_record" for name in $table ; do  echo "=========

REGISTER /usr/hdp/current/hbase-client/lib/htrace-core-3.1.0-incubating.jarREGISTER /usr/hdp/current/pig-client/piggybank.jar;x = LOAD 'hbase://CXXW_3M_XIAOXU' USING org.apache.pig.backend.hadoop.

[root@hadoop1 ~]# hbase org.apache.hadoop.hbase.mapreduce.Import xiaoxu test-output-0012017-04-05 12:18:53,425 INFO  [main] impl.TimelineClientImpl: Timeline service address: http://j4-nwdx-004-18:8

[root@hadoop1 ~]# hbase org.apache.hadoop.hbase.mapreduce.Export xiaoxu test-output-0012017-04-05 12:06:04,889 INFO  [main] mapreduce.Export: versions=1, starttime=0, endtime=9223372036854775807, ke

[root@hadoop1 testSh]# vi example1.pigREGISTER /opt/phoenix-4.8.2-HBase-1.2/phoenix-4.8.2-HBase-1.2-client.jar;rows = load 'hbase://table/sp_address_orc' USING org.apache.phoenix.pig.PhoenixHBaseL

REGISTER /opt/phoenix-4.8.2-HBase-1.2/phoenix-4.8.2-HBase-1.2-client.jar;rows = load 'hbase://query/SELECT * FROM SP_ADDRESS' USING org.apache.phoenix.pig.PhoenixHBaseLoader('hadoop1,hadoop2,hadoop3

[root@hadoop1 phoenix-4.8.2-HBase-1.2]# HADOOP_CLASSPATH=/opt/hbase-1.2.1/lib/hbase-protocol-1.2.1.jar:/etc/hbase/conf/  hadoop jar /opt/phoenix-4.8.2-HBase-1.2/phoenix-4.8.2-HBase-1.2-client.jar org.

't_user_info', {NAME => 'base_info', DATA_BLOCK_ENCODING => 'NONE', BLOOMFILTER => 'ROW', REPLICATION_SCOPE => '0', VERSIONS => '1', COMPRESSION => 'NONE', MIN_VERSIONS => '0', TTL => 'FOREVER', K

逻辑视图HBase以表的形式存储数据。表有行和列组成。列划分为若干个列族(row family)Row Keycolumn-family1column-family2column-family3column1column1column1column2column3column1key1t1:ab

HBase的查询实现只提供两种方式：1、按指定RowKey获取唯一一条记录，get方法（org.apache.hadoop.hbase.client.Get）2、按指定的条件获取一批记录，scan方法（org.apache.hadoop.hbase.client.Scan）实现条件查询功能使用的就是scan方式，scan在使用时有以下几点值得注意：1、sca

（1）       开启bloomfilter过滤器，开启bloomfilter比没开启要快3、4倍（2）       hbase对于内存有特别的嗜好，在硬件允许的情况下配足够多的内存给它通过修改hbase-env.sh中的export HBASE_HEAPSIZE=3000 #这里默认为1000m（3）       修改java虚拟机属性替换掉默认的垃圾回收器

$ hbase hbck test_hbase_hbase test_hbase2018-03-13 04:42:32,607 INFO  [main] zookeeper.RecoverableZooKeeper: Process identifier=hbase Fsck connecting to ZooKeeper ensemble=alpha-cn-01.cars.com:2181201...