温馨提示:如果使用电脑查看图片不清晰,可以使用手机打开文章单击文中的图片放大查看高清原图。
Fayson的github:
https://github.com/fayson/cdhproject
提示:代码块部分可以左右滑动查看噢
文档编写目的
Fayson在前面的文章介绍了《如何启用Impala的动态资源池》。管理员可以通过Impala的动态资源池、放置规则及ACL控制不同的用户对Impala资源使用。本篇文章主要介绍如何配置Impala的放置规则,通过一个场景进行描述,在不给作业指定资源池的情况,通过Impala的放置策略将不同的用户提交的SQL分配到不同的资源池中。
- 内容概述
1.场景描述及测试用户准备
2.Impala资源池和放置规则配置
3.放置规则验证及总结
- 测试环境
- CM和CDH版本为5.15
测试场景描述
示例场景如下:当前CDH集群供多个业务部门使用,需要为各个业务部门划分不同Impala资源池,对应业务组的用户作业需要自动的提交到划分的资源池中。如下图所示:

通过上图可以看到有Impala的资源池中创建3个队列:业务组A、业务组B、default。右边有多个业务组的用户,在用户提交作业时需要根据用户所在的也业务组不同自动为用户分配不通的资源池,接下来Fayson通过具体的Yarn动态资源池放置规则的配置进行实现。
测试用户准备
在配置前Fayson先准备三个测试用户usera、userc和usere,三个用户的组分别为testa、testb、testc。
1.在CDH集群的所有节点创建testa、testb、testc三个组,testa表示“业务组A”、

本文详细介绍了如何通过配置Impala的动态资源池和放置规则,实现不同业务部门的SQL作业自动分配到预设资源池,提升资源利用效率。
最低0.47元/天 解锁文章
1万+

被折叠的 条评论
为什么被折叠?



