程序之路

servercachestringbytetablehbase 背景 HTable作为HBase的CRUD的客户端底层是怎么实现的，虽然HBase-The-Definitive-Guide 这本书的作者推荐在生产环境使用HTablePool 但了解HTable还是很有必要的 下面以一个简单的例子来说明   [java] view plaincopy p

http://sishuok.com/forum/blogPost/list/5411.html Caused by: org.apache.hadoop.ipc.RemoteException: org.apache.hadoop.hbase.ClockOutOfSyncException: Server s3,60020,1304927875246 has been rejected

1：Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out Answer： 程序里面需要打开多个文件，进行分析，系统一般默认数量是1024，（用ulimit -a可以看到）对于正常使用是够了，但是对于程序来讲，就太少了。 修改办法： 修改2个文件。 /etc/security/limits.conf vi /etc/

在0.92版本的hbase上添加了协处理器的功能，协处理器分为两大部分 endpoint和observer. observer相当于一个钩子的作用，根据钩子运行的模块来划分，又分成三个 RegionObserver：用这个做数据操纵事件，其紧密的绑定到表的region MasterObserver：处理集群级别的事件：管理操作和数据定义语言操作 WALObserver：预写日志处理 而e

hbase.zookeeper.quorum        hadoop.datanode3.com,hadoop.datanode2.com,hadoop.datanode5.com               hbase.master.distributed.log.splitting         false              hbase.zookeeper

hbase的删除功能比较弱，只能单行删除，而且必须指定rowkey。 遇到问题： 今天遇到一个需求，用户导入了大量错误的数据，数据的rowkey开头都是110102，需要删除这些垃圾记录，用hbase shell删除实在不科学。 解决方案： 用hbase的mapreduce工具进行export和import，在export过程中filter掉不需要的

1. 关于内存 hbase.hregion.memstore.mslab.enabled 默认值：true 说明：减少因内存碎片导致的Full GC，提高整体性能。 调优：详见 http://kenwublog.com/avoid-full-gc-in-hbase-using-arena-allocation 2. 启用LZO压缩 LZO对比Hbase默认的GZip

hbase提供了写的操作，通常，我们可以采用HBase的Shell 客户端或者Java API进行操作。 如果数据量大的话，这两种操作是很费时的。其实如果了解了HBase的数据底层存储的细节的话，HBase的数据存储格式是HFile定义的格式。 批量导入HBase主要分两步： 通过mapreduce在输出目录OutputDir下生成一系列按Store存储结构一样的，存储HFile