0450-如何在Hue中调优Impala和Hive查询

本文档介绍了如何在Hue中解决Hive和Impala查询后资源未释放的问题。通过配置Impala的查询超时时间和HiveServer2的会话超时,实现了资源的有效释放,以达到调优目的。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

温馨提示:如果使用电脑查看图片不清晰,可以使用手机打开文章单击文中的图片放大查看高清原图。
Fayson的github:
https://github.com/fayson/cdhproject
提示:代码块部分可以左右滑动查看噢

1

文档编写目的

Hue中使用Hive和Impala进行查询,在使用完Hue后退出登录,会出现Hive和Impala的暂用的资源未释放。本篇文章Fayson主要针对该问题在Hue中调优Impala和Hive查询,该调优方式适用于CDH5.2及以后版本。

  • 内容概述

1.场景描述及测试用户准备

2.Impala资源池和放置规则配置

3.放置规则验证及总结

  • 测试环境

1.CM和CDH版本为5.15

2

Hue中调优Impala

Hue会尝试在用户离开查询结果返回界面时关闭查询(通常查询会比较快完成,因此可以快速的关闭它们)。但是,如果用户执行的操作从未返回。或者,如果用户从未关闭查询页面,则查询任然保存打开状态。在CDH5.2中,Impala将自动使用“query_timeout_s”属性指定会话超时时间(默认为10分钟),在超时后自动取消查询,可以通过如下方式设置该参数。

1.使用管理员登录CM,进入Hue服务的配置界面

2.在搜索栏输入“hue*.ini”,在配置项中配置如下信息

[impala]
query_timeout_s=600

(可左右滑动)

配置查询超时时间,单位为s,完成以上配置后根据CM提示重启相应服务即可。在此之前的版本,关闭所有查询的唯一解决方法则是重启Hue或Impala服务。

注意:Impala目前只能取消查询但不能关闭查询。他将在Impala 1575的版本中得到改进。JIRA地址如下:http://issues.cloudera.org/browse/IMPALA-1575

<
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值