Go 内存管理

这是我参与「第五届青训营 」笔记创作活动的第 10 天

前言

前一篇笔记介绍了自动内存管理的相关知识，同时也提到了 Go 语言优化可以从内存管理和编译器优化两方面进行，本文主要介绍的是 Go 语言内存管理及优化相关内容。

重点内容

• Go 内存管理

• Go 内存管理的问题

• 字节跳动的优化方案

知识点介绍

Go 内存管理

Go 内存分配--分块

• 目标：为对象在 heap 上分配内存

• 提前将内存分块

• 调用系统调用 mmap() 向 OS 申请一大块内存，例如 4 MB

• 先将内存划分成大块，例如 8 KB，称作 mspan

• 再将大块继续划分成特定大小的小块，用于对象分配

• noscan mspan: 分配不包含指针的对象 —— GC 不需要扫描

• scan mspan: 分配包含指针的对象 —— GC 需要扫描

• 对象分配：根据对象的大小，选择最合适的块返回

Go 内存分配--缓存

• TCMalloc ：thread caching

• 每个 p 包含一个 mcache 用于快速分配，用于为绑定于 p 上的 g 分配对象

• mcache 管理一组 mspan

• 当 mcache 中的 mspan 分配完毕，向 mcentral 申请带有未分配块的 mspan

• 当 mspan 中没有分配的对象，mspan 会被缓存在 mcentral 中，而不是立刻释放还给 OS

Go 内存管理的问题

mspan, mcache 和 mcentral 构成了内存管理的多级缓存机制。

• 对象分配是非常高频的操作：每秒分配 GB 级别的内存

• 线上 profiling 发现，Go 的内存分配占用很多 CPU

• 分配路径长： g - m - p - mcache - mspan - memory block - return pointer

• pprof ：对象分配的函数是最频繁调用的函数之一

可以看到，用于分配对象的函数 mallocgc() 占用 CPU 较高

• 小对象分配占大多数

横轴是对象大小，纵轴是数目，可以看到绝大多数对象都小于 80 B。因此优化小对象分配是关键。

字节跳动的优化方案

Balanced GC

• 核心：将 noscan 对象在 per-g allocation buffer (GAB) 上分配，并使用移动对象 GC 管理这部分内存，提高对象分配和回收效率

• 本质：将多个小对象的分配合并为一次大对象的分配

• 每个 g 会附加一个较大的 allocation buffer (例如 1 KB) 用来分配小于 128 B 的 noscan 小对象

• bump pointer 风格的对象分配。示意如下。

• 无须和其他分配请求互斥

• 分配动作简单高效

if g.ab.end - g.ab.top < size {
    // Allocate a new allocation buffer
}
addr := g.ab.top
g.ab.top += size
return addr
复制代码

• 分配对象时，根据对象大小移动 top 指针并返回，快速完成一次对象分配

• 同原先调用 mallocgc() 进行对象分配的方式相比，balanced GC 缩短了对象分配的路径，减少了对象分配执行的指令数目，降低 CPU 使用

从 Go runtime 内存管理模块的角度看，一个 allocation buffer 其实是一个大对象。因此，当 GAB 中即使只有一个小对象存活时，Go runtime 也会认为整个大对象（即 GAB）存活。为此，balanced GC 会根据 GC 策略，当 GAB 总大小超过一定阈值时，将 GAB 中存活的对象复制到另外的 GAB 中，从而压缩并清理 GAB 的内存空间，原先的 GAB 空间由于不再有存活对象，可以全部释放，如下图所示。

本质：用 copying GC 算法管理小对象。

上图上方是两个 GAB，其中虚线表示 GAB 中对象的分界线。黑色表示 GAB 中存活的对象，白色表示死掉的对象。由于 GAB 中有存活对象，整个 GAB 无法被回收。

Balanced GC 会将 GAB 中存活的对象移动到下面的 GAB 中，这样原先的两个 GABs 就可以被释放，压缩并清理 GAB 的内存空间。

Balanced GC 只负责 noscan 对象的分配和移动，对象的标记和回收依然依赖 Go GC 本身，并和 Go GC 保持兼容。

总结

本文主要介绍了 Go 内存管理的相关知识，从 Go 内存管理的实现到 Go 内存管理所存在的问题，最后详细介绍了字节跳动在 Go 内存管理方面的优化方案，层层深入。