聊聊 OceanBase 内存管理

内存配置管理是数据库日常管理中非常重要的工作,正确合理配置数据库内存是保障系统高效运行的前提条件。

OceanBase 数据库是一个支持多租户架构的准内存级的分布式数据库,对大容量内存的管理和使用提出了很高的要求。实际使用上,OceanBase 倾向于将更多的系统内存划分给数据库,由数据库进行统一管理。具体的内存结构,可以分为操作系统预留内存、OBServer预留内存、租户内存等四个层次。

在这里插入图片描述

数据库内存上限

OBServer 预留内存可以使用两种方式来设置:

  • 按照服务器总内存上限的百分比来设置OceanBase数据库可以使用的总内存,由 memory_limit_percentage 参数配置;
  • 直接配置OceanBase数据库可用内存上限,由 memory_limit 参数配置。

参数memory_limit优先级更高,当memory_limit=0时,memory_limit_percentage决定OBServer 内存大小;否则由memory_limit决定observer内存大小。

扣除掉分配给OBServer的内存,其他的内存则预留给操作系统。对于384GB以上的大内存服务器,通常建议保留50GB以上的内存空间给操作系统。

系统内部内存管理

由于每个 OBServer 上的租户都会共享部分资源,这些共享资源所使用的内存并不属于特定租户,是所有租户的共享资源,这类内存被归结为系统内部内存。

系统内部内存的上限通过 system_memory 参数来配置,这是对系统内部使用内存的预估。对于租户来说,能够使用的内存上限是 memory_limit - system_memory。

租户内部内存管理

OceanBase 数据库

### OceanBase 数据库内存模块架构与实现 #### 3.1 内存模块概述 OceanBase 数据库采用了一种独特的内存管理机制来处理数据更新操作。具体来说,该数据库基于基线数据(硬盘上的持久化数据)加上修改增量(内存中的临时数据)来进行数据更新[^3]。 #### 3.2 更新过程详解 当有新的写入请求到来时,OceanBase 并不会立即把新数据刷到磁盘上,而是先将其保存在内存中作为增量数据。这种设计充分利用了现代计算机体系结构的特点——即虽然总的数据量很大,但每日新增或变更的数据相对较少这一事实。因此,在大多数情况下,只有少量最新变化会被频繁访问,而历史版本则保持不动状态存在于磁盘之上。 #### 3.3 UpdateServer角色说明 为了更好地管理和维护这些位于内存里的增量数据,OceanBase引入了一个名为UpdateServer的服务组件。它专门负责接收来自各个节点提交的日志记录,并将它们暂存在自己的缓冲区内;与此同时还会定期地把这些日志应用到本地副本并完成相应的持久化工作。值得注意的是,出于高可用性的考虑,通常会设置两个互为主备关系的UpdateServers以确保即使其中一个发生故障也不会影响整个系统的正常运行[^4]。 ```python class MemoryModule: def __init__(self): self.baseline_data = {} # 磁盘上的持久化数据 self.incremental_updates = [] # 内存中的增量更新 def apply_update(self, update_log): """ 应用增量更新 """ self.incremental_updates.append(update_log) def flush_to_disk(self): """ 将增量更新刷新至磁盘 """ for log in self.incremental_updates: key, value = parse(log) self.baseline_data[key] = value self.incremental_updates.clear() ```
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值