Hbase
关注
分享
扫一扫
黄瓜炖啤酒鸭
黄瓜炖啤酒鸭 欢迎分享，欢迎交流，有不懂的可以加微信交流，拒绝红包等利益交流，不懂就问。
展开
-
Hbase批量写入，歪点子
想优化hbase批量写入速度，搞了个偏门套路，也不知道会不会出问题： 1）使用HTable ，hTable = new HTable(conf, TableName.valueOf("storm_wxgz"));hTable.setWriteBufferSize(10 * 1024 * 1024);//10MhTable.setAutoFlushTo(false);2）使用定...原创 2019-01-14 22:03:59 · 810 阅读 · 0 评论 -
kafka-flink-hbase
代码地址：https://github.com/duhanmin/kafka-flink-hbase/tree/master/src/main/java/com/dupackage com.du;import java.io.IOException;import java.text.SimpleDateFormat;import java.util.Date;import...转载 2019-07-10 18:24:25 · 421 阅读 · 0 评论 -
hbase参数设置导致压测出现问题hbase ipc.RpcServer: (responseTooSlow)
修改了hbase的配置文件参数 ：hbase.hstore.blockingStoreFiles 之前设置为20W+，出现问题：hbase.hstore.blockingStoreFiles 这个参数跟文件合并有关系，如果设置太大的话，目前集群出现的问题就是批量查询的时候，跑着跑着就出现查询一个要5-8s ，报错 ：hbase ipc.RpcServer: (responseTo...原创 2019-08-20 16:42:38 · 4156 阅读 · 1 评论 -
hbase GC造成数据处理延迟(GC pool)
时间压测过程中，通过程序加时间戳判断，在批量查询hbase的时候，会有部分数据查询时间大于8s，这肯定是不能接受的，查看hbase的日志发现原因,有类似日志'GC pool',推测是GC问题，各种查询资料：...2018-03-01 17:32:16,243 WARN org.apache.hadoop.hbase.util.JvmPauseMonitor: Detected pause ...原创 2019-08-12 20:09:16 · 1590 阅读 · 0 评论 -
hbase 自动刷写API
1，旧的Htable API storm_wxgz = Resources.hbasePro.getProperty("table_name"); wxgz_scenes_data = Resources.hbasePro.getProperty("hbase_log_table"); try { if (connecti...原创 2019-08-28 11:03:32 · 240 阅读 · 0 评论 -
HBase调优 | HBase Compaction参数调优 --转载
HBase调优 | HBase Compaction参数调优最近刚好在解决Hbase遇到的一些问题，这篇文章就来了。。。。。。。。。。。。。。Compaction的主要目的：1.将多个HFile 合并为较大HFile，从而提高查询性能 2.减少HFile 数量，减少小文件对HDFS 影响 3.提高Region初始化速度。hbase.hstore.compaction.min当某...原创 2019-08-28 15:40:51 · 1353 阅读 · 1 评论