hive metastore导致集群阻塞

sunxunyong

于 2021-12-01 15:52:39 发布

阅读量2.7k

点赞数

分类专栏： hadoop运维调优文章标签： hive mysql hadoop

本文链接：https://blog.youkuaiyun.com/sunxunyong/article/details/121656189

版权

hadoop运维调优专栏收录该内容

8 篇文章

订阅专栏

博客内容提到，HiveMetastore频繁报错，查询缓慢，原因是PARTITION_PARAMS表中使用了包含40000个part_id的大IN()查询，导致数据库阻塞。Hive3.0后默认开启CBO和统计分析，可能加重此问题。建议关闭CBO和自动统计，并增大metastore连接池。设置如下：

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

hive metastore频繁报错，hive集群查询很慢。在这里插入图片描述 ObjectStore.java:handleDirectSqlError(3741)) - Falling back to ORM path due to direct SQL failure (this is not an error): Error executing SQL query “select “PART_ID”, “PARAM_KEY”, “PARAM_VALUE” from “PARTITION_PARAMS” where “PART_ID” in (10522894,10522897,…,22062033,22062776) and “PARAM_KEY” is not null order by “PART_ID” asc”. at org.datanucleus.api.jdo.NucleusJDOHelper.getJDOExceptionForNucleusException(NucleusJDOHelper.java:543) at org.datanucleus.api.jdo.JDOQuery.executeInternal(JDOQuery.java:391)
分析hive metastore日志发现有对PARTITION_PARAMS表查询，切in（）中有包含40000左右的part_id，导致源数据库查询阻塞。

在这里插入图片描述分析发现hive3.0之后，默认开启了cbo ，开启统计分析。
然后执行计划会取这些数据去优化执行计划。
建议关闭统计分析，可以在用的时候在客户端set true：
set hive.cbo.enable=false
set hive.stats.autogather=false;
set hive.stats.column.autogather=false;
并建议增加metastore连接池：
datanucleus.connectionPool.maxPoolSize=10 默认值为10，改成50