hive写HBase报错org.apache.hadoop.hbase.RegionTooBusyException: StoreTooBusy,

最新推荐文章于 2024-04-09 09:12:16 发布

原创最新推荐文章于 2024-04-09 09:12:16 发布 · 808 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#hive #hbase

报错专栏收录该内容

3 篇文章

订阅专栏

在使用HiveOnTez通过Phoenix写入Hbase时遇到CommitException，原因是表的联合主键的第一个字段存在大量重复导致数据倾斜。切换到HiveOnMR执行，并设置map任务数量及max.split.size，成功将数据较慢地写入HBase。

Hive On Tez写通过Phoenix写Hbase时，报错：

aused by: org.apache.phoenix.execute.CommitException: org.apache.hadoop.hbase.client.RetriesExhaustedWithDetailsException: Failed 10 actions: org.apache.hadoop.hbase.RegionTooBusyException: StoreTooBusy,1673417396340.7e890eda7bad66e304ce311bc81ca481.:0 Above parallelPutToStoreThreadLimit(10)

是因为表是联合主键，第一个字段出现了大量的重复，出现了数据倾斜。

将Hive On Tez改成Hive On MR来执行,并设置map数。

set hive.execution.engine=mr;

set mapred.map.tasks=1; 期望map数

set mapred.max.split.size=256000000000;

改成MapReduce的方式，花较长时间将数据写到了HBase。