GreenPlum系列-7-资源管理

IfNotExists

已于 2023-03-19 15:04:33 修改

阅读量1.3k

点赞数

分类专栏： greenplum系列文章标签：数据库

于 2023-01-09 17:25:51 首次发布

本文链接：https://blog.youkuaiyun.com/weixin_42633805/article/details/128614984

版权

greenplum系列专栏收录该内容

8 篇文章

订阅专栏

文章详细介绍了Greenplum数据库中的资源管理机制，包括资源队列和资源组两种模式，用于限制SQL对CPU、内存和并发等资源的消耗。资源队列按查询级别管理资源，而资源组在事务级别进行管理，提供更细粒度的控制。两种模式都有不同的参数调整策略，如内存限制、并发数和CPU使用率，以确保系统的稳定性和性能。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

资源管理是为了限制系统中活动的SQL对资源的消耗，包括CPU、MEM、并发等资源，避免并发SQL将系统资源耗尽导致的缓慢或崩溃。常用的资源管理模式包括资源队列、资源组。

一、资源队列

GP默认启用的资源管理模式。数据库角色与单个资源队列关联，多个角色共享同一个资源队里。如果没有指定资源队列，则角色会被自动关联到默认资源队列pg_default。当用户提交一个执行SQL时，队列会根据其限制对查询评估，如果需要的资源没有超过限制，则立即执行，否则需要等到队列资源有空闲时执行，资源评估是先进先出原则。如果启用查询优先级，则会预估系统当前的负载并根据优先级进行资源分配。Superuser属性的角色不受资源队列限制。

1、参数

MEMORY_LIMIT：队列中所有查询能够使用的内存量。

ACTIVE_STATEMENTS：队列中槽位数量（最大并发）

PRIORITY：查询优先级，LOW 、MEDIUM（默认）、HIGH、MAX

MAX_COST：查询计划消耗限制。

2.资源组操作

创建资源组

create resource queue adhoc with (active_statements=20, memory_limit='1024MB');

指派角色到资源队列

alter role user_1 resource queue queue_test;

create role user_2 with login resource queue queus_test;

从队列中移除

alter role user_1 resource queue none;

修改资源队列

alter resource queue queue_test with (priority=MAX);

删除资源队列

drop resource queue queue_test;

查看资源队列

select * from gp_toolkit.gp_resqueue_status;

查看等待查询

select * from gp_toolkit.gp_locks_on_resqueue where lorwaiting='true';

清理等待查询

获取查询ID

SELECT rolname, rsqname, pid, granted,

current_query, datname

FROM pg_roles, gp_toolkit.gp_resqueue_status, pg_locks,

pg_stat_activity

WHERE pg_roles.rolresqueue=pg_locks.objid

AND pg_locks.objid=gp_toolkit.gp_resqueue_status.queueid

AND pg_stat_activity.procpid=pg_locks.pid

AND pg_stat_activity.usename=pg_roles.rolname;

#pg_cancel_backend(id);

二、资源组

资源组使用Linux cgroup 进行资源限制，当用户执行查询时，数据库会根据资源组定义的限制进行评估。如果未达到限制并且查询不会导致组超过并发事务限制，SQL会立即执行。如果不满足，数据库会对查询进行排毒。事务以先进先出的方式评估。

限制参数

MEMORY_AUDITOR：资源组的内存审计器。

CONCURRENCY：资源组中允许的最大并发事务数。包括活动和空闲。

CPU_RATE_LIMIT：资源组可用CPU的百分比。

CPUSET：为资源组保留的CPU数。

MEMORY_LIMIT：资源组可用内存百分比。

MEMORY_SHARED_QUOTA：提交到资源组的事务之间共享的内存资源百分比。

MEMORY_SPILL_RATIO：内存密集型事务的内存使用阈值，超过阈值会溢出到磁盘。

操作资源组

开启资源组

gpconfig -c gp_resource_manager -v "group"

gpstop -M fast / gpstart

创建资源组

create resource group rgroup_test with (MEMORY_AUDITOR=cgroup, CONCURRENCY=10, CPUSET='1', MEMORY_LIMIT=30);

将资源组分配给角色

alter role user_1 resource group rgroup_test;

create role user_2 resource group rgroup_test;

查询资源限制

select * from gp_toolkit.gp_resgroup_config;

查看查询状态的资源使用情况

select * from gp_toolkit.gp_resgroup_status;

查看每个主机的资源组资源使用情况

select * from gp_toolkit.gp_resgroup_status_per_host;

查看每个段的资源组资源使用情况

select * from gp_toolkit.gp_resgroup_status_per_segment;

查看资源组的运行和待定查询

select current_query, waiting, rsgname, rsgqueueduration from pg_stat_activity;

三、两种模式的区别

参数	资源队列	资源组
并行	在查询级别管理	在事务级别管理
CPU	指定队列顺序	指定CPU的使用百分比；使用Linux控制组
内存	在队列和操作级别管理；用户可以过量使用	在事务级别管理，可以进一步分配和追踪；用户不可以过量使用。
内存隔离	无	同资源组下的事务使用的内存是隔离的，不同资源组使用的内存也是隔离的。
用户	仅非管理员用户有限制。	非管理员用户和超级用户都有限制
排序	当没有可用槽位时，才开始排序	当槽位或内存不足时，开始排序
查询失效	当内存不足时，查询可能会立即失效	在没有更多的共享资源组内存的情况下，若事务到达了内存使用量限制后仍然提出增加内存的申请，查询可能会失效
避开限制	超级用户角色以及特定的操作者和功能不受限制。	SET、RESET和SHOW指令不受限制
外部组件	无	管理PL/Container CPU和内存资源