本文介绍了如何通过调整Impala的角色组配置，避免资源不足的节点在执行查询时内存暴增导致服务挂掉。通过创建角色组，将资源充足的节点设为执行器，资源较少的节点设为协调器，从而优化查询调度，确保查询在合适节点上运行。注意，配置为仅执行器的节点不能直接使用impala-shell提交查询。
记录一下，在用impala作为计算引擎查询hive数据时，经常性的发现资源少的节点由于内存暴增而记录一下，在用impala作为计算引擎查询hive数据时，经常性的发现资源少的节点由于内存暴增而导致impala Daemon 挂掉，仔细查询cdh中impala执行过程的日志，发现impala的计算会初始化到一个节点
我们需要将查询调度到资源比较多的服务器节点才行，希望不要在资源少的节点运行执行
经过查询
可以在impala 的配置中建 角色组来管理impala Daemon的各服务器节点扮演不同的角色，比如让大内存，好设备扮演执行器executor，让设备比较差的节点扮演coordinator协调器
步骤如下
点击“角色组”
创建一个角色组，我这里设置的coordinator group 其实我这个应该叫executor group 名字无所谓， 将其他group中资源好impala daemon 放在这个组作为执行器，中心思想就是让一些节点作为执行节点（他们的资源丰富），让另一部分作为协调器（只负责协调分发查询请求）
最低0.47元/天 解锁文章
扫一扫
480
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
