老张用 Workload Group 当"班主任",把Doris集群治理得服服贴贴
数据库老张正呼呼大睡着,突然被告警电话吵醒:
"老张,快看监控,集群要炸了!“这已经是本周第三次了。
每次都是那个数据分析师的"神仙查询”,一跑就把内存吃光,害得其他查询都跪了。
正当老张抱怨"这日子没法过了"的时候,他发现了Doris有个救命稻草——Workload Group。
这个"资源管理老师"不仅能管住调皮的查询,还能让不同业务和谐共处。从此,老张终于能睡个安稳觉了。
今天,让我们跟着老张一起,揭秘这个让DBA摆脱"通宵值守"的法宝!
Doris多租户战争中的和平使者
运维老李一大早就收到告警,气急败坏地喊来了数据库老张: “老张,快来看监控,那个大数据分析师又把集群跑挂了!”
"唉,又是这样。"老张叹了口气,“昨天是机器学习团队的特征计算把CPU打满,前天是BI团队的即席查询吃光内存,今天又是数据分析师的全表扫描…”
这种场景相信很多Doris运维同学都不陌生。
在一个共享的数据库集群里,各种查询好比一群贪吃的小朋友,都想抢占最多的资源。如何让他们和平共处?这就需要一个"资源管理老师" - Workload Group登场了。
Doris Workload Group好比一所特殊的"查询学校"的"班主任"管理员。
在这所学校里,不同类型的查询就像不同班级的学生:ETL作业是勤勤恳恳的实验班,报表查询是需要准时完成作业的重点班,即席查询则像个创新实验室,充满了不确定性。
每个"班级"都有自己的专属教室(CPU资源)、自习室(内存空间)和图书借阅配额(IO带宽)。学校里有两种管理模式:
温柔模式(软限制):
- CPU教室:空教室可以借用给需要加班的同学
- 自习室:图书馆没人时可以多占几个座位
- 但一旦资源紧张,必须按原定计划让座
严格模式(硬限制):
- CPU教室:只能用自己班的教室,不得超员
- 自习室:超出座位限制就请同学离开
- 图书借阅:每天固定配额,绝不超借
老张配置好Workload Group后,终于不用再担心"熊孩子"们打架了:
- ETL作业乖乖待在实验室做大规模计算
- 报表查询按时完成日常作业不受干扰
- 即席查询有了自己的创新空间又不会影响他人
最妙的是,这些规则都是自动执行的,再也不用半夜被告警电话吵醒了!
Doris资源调度指南
运维老李八卦地问道: “老张,我发现你最近都睡得挺好,不再有半夜被电话轰炸的情况了?”
“可不是嘛!自从给’查询学校’配好’课程表’后,日子清静多了。”,老张得意地晃了晃手中的咖啡杯: “我来分享下这套’教学管理系统’的配置经验。”