hbase与mapreduce同时运行的问题

      在hbase数据写入和mapreduce同时运行时出现hbase regionserver挂掉的问题，同时hdfs上的文件块出现miss。

      目前看来mapreduce和hbase同时运行时出现的一个问题就是内存竞争，hbase的regionserver在数据录入时需要的内存很大，如果同时开启了mapreduce两者会冲突。

      另一个问题是对hdfs的复用，两者同时操作hdfs是否会出现硬盘的频繁读写操作。

      先mark一下，查查原因再来这里继续。

 

      后续：在之后我对hbase相关参数和环境进行了调优，避免的region的频繁分裂和合并，减少full gc的频率。通过增加内存为hbase提供更好的性能。能够达到mapreduce和hbase同时运行的情况。不过磁盘读写io问题还是存在，造成mr入库hbase效率比client方式低。