MT——黑板报

根据工作需求，需要测试 MapReduce 程序访问HBase 的性能。由于本人面对MapReduce，HBase都是新手，所以在这个过程中遇到了很多问题，主要如下 ：MapReduce 程序如何引用第三方 jar 包MapReduce 访问HBase 的安全认证问题 (kerberos)Hadoop HBase 的conf文件的设定问题

1.  Replication 大致流程

1 Compaction介绍在HBase中，每当memstore的数据flush到磁盘后，就形成一个storefile，当storefile的数量越来越大时，会严重影响HBase的读性能 ，所以必须将过多的storefile文件进行合并操作。Compaction是Buffer-flush-merge的LSM-Tree模型的关键操作，主要起到如下几个作用：（1）合并文件（2）清除删除、过

１. Phoenix 二级索引

测试环境：3台RegionServer,每台的配置如下：cpu: 32 coremem: 48 GB，每台RS分配16GBRSRPC Handler: 300

1. Physical data sizeGanglia监控disk存储状态2. JVM GC Lmitations考虑到GC问题，RS的maxheap size一般推荐设置为16GB左右3. Region count & size估算region数量的Formula:(RS memory)*(totalmemstore fraction)/((memstore siz

1．Overall Solution解决思想：一个user table对应一个index tableindex的创建与更新全部在RS端的cp-processor里实现核心思想：一个actual　region对应一个index region一对一的mapping，且两者必须在同一个RS上执行balance,split操作后，受影响的actu

在HBase Snapshot出现之前，备份或者克隆table必须使用 Copy/Export Table工具，或者是 disable table，然后拷贝所有的HFiles。前者起MapReduce作业对RegionServer的压力太大，后者需要disable掉table，这就阻塞了读写。         而Snapshot就可以允许admin在没有数据copy和对RS影响很小的情况下cl

最近连续两次发现凌晨5点的时候，zk机器磁盘打满导致zk进程挂掉，从而造成hbase集群不可用的事故。 通过分析发现，zk进程一直在写log到文件log.31001e217b, 写这个文件主要是zk将保存的状态信息的操作日志写入到文件中持久化，通过如下的命令查看该日志文件可以发现是什么运用在不停地更新zk中的状态：export ZOOKEEPER_CLASSPATH=/usr/local/hadoo