数据库技术解读之细粒度资源管控

​
背景
对数据库集群内资源管控与资源隔离一直是企业客户长久以来的诉求。华为云GaussDB作为一款企业级分布式数据库，一直致力于满足企业对大型数据库集群的管理需要。

数据库可以管理的资源有计算资源与存储资源，计算资源包括CPU、内存、IO与网络，存储资源包括数据存储空间、日志存储空间与临时文件等。

从用户角度来看，资源管控通过设定阈值或者优先级限定程序对资源的使用，保证承诺服务等级协议的同时，又满足不同用户间资源隔离，达成多个租户共享数据库资源的目的。

从系统的角度来看，引入资源监控与控制的手段，可以实现资源在可控情况下被合理利用的目的，避免资源耗尽，防止系统停止响应、崩溃等情况的发生。作业优先级，可以保证作业平稳运行，避免某个作业占用资源过高时影响其他作业，并在资源富裕时，实现资源利用的最大化。除此以外，还能满足外部的期望，保证系统资源使用最大化。通过对作业控制，可以保证作业是平稳的，避免作业执行过程中出现不可控的行为。

为了解决上述目标，华为云GaussDB数据库提供了一种对数据库集群内资源进行细粒度管控的方案——细粒度资源管控。该方案在不同的管控粒度（如用户级、会话级与语句级）和不同的管控维度（CPU、内存与IO）都提供了对应的管控能力。用户可以根据自己业务需求采取合适的管控维度与管控粒度来达成资源管控与资源隔离的目标，满足不同场景的资源控制的需要。

技术架构
我们先来看下细粒度资源管控的技术架构和运行原理：

从上图中可以看到，GaussDB提供资源池模块来完成CPU、内存与IO的管控逻辑。用户可以创建一个资源池并指定其可以使用的CPU、内存与IO的份额，并把资源池与用户绑定。之后该用户发起的作业在数据库内核优化解析、执行引擎以及存储引擎模块运行的过程中都会受到实时资源管控，确保其CPU、内存与IO都在对应资源池的范围内。

假设A公司部署了一套GaussDB实例，其同时存在三个不同的应用来访问该实例，如OLTP业务、报表业务、其他低优先级业务。A公司希望对三个业务做资源的合理管控，在保证资源使用最大化的情况下，系统平稳运行。我们可以使用系统管理员执行如下命令来为三个业务的用户设置，其资源份额比例为50:30:10，剩余的10%为系统预留。

这里仅做简单的使用示例，每一个参数的具体含义会在后面的章节进行详细说明。

create resource pool respool_tp with(control_group=“cgroup_tp”, max_dynamic_memory=“5GB”, max_shared_memory=“5GB”, io_limits=50, io_priority=“High”);
alter role tp_user RESOURCE POOL ‘respool_tp’;

create resource pool respool_report with(control_group=“cgroup_report”, max_dynamic_memory=“3GB”, max_shared_memory=“3GB”, io_limits=30, io_priority=“Medium”);
alter role report_user RESOURCE POOL