BITDDD小栈

Flink-hbase 任务 hbase.util.RetryCounter.sleepUntilNextRetry 堆栈问题分析与排查。

引言:Hbase 存储数据时，如果数据量不大可以通过 Get 批量载入，当数据量够大时可以采用 Bulkload 方式，提高载入效率。Bulkload 就像 Hive 的 load 一样，提供好规定格式的文件即可。主程序:这里生成的 HFile 是 keyValue 形式的，Get形式也可以，实现起来需要用到 mr。需要注意的是 HFile 要存储在 HBase 相对应集群下。1.配置 Spark 与 Hbase 连接 val argsMap = ArgsUtil.pars.

问题描述：Hbase在大规模数据数据集情况下拉取数据时，若rowkey密集集中在一台节点，则在批量拉取数据时容易出现数据拉取速度很慢或者出现timeout，如果资源允许的情况下，可以将rowkey根据自己的规则手动split到多个分区中，从而把rowkey均匀打到多台服务器，这样在数据获取时就不会因为rowkey集中而对单台hbase服务器压力过大导致超时影响任务执行。Hbase r...