浅析Go内存管理架构

Unity Timeline运行时架构与自定义轨道开发全解析 在Unity引擎中,Playable Graph是一个用于管理动画、音频等可播放内容的通用数据流图系统,它通过节点和连接实现数据的流动与混合。其核心原理是将序列化资源(如TimelineAsset)与运行时实例分离,由PlayableDirector组件负责构建和管理Graph,实现高效的多实例复用。这一架构的技术价值在于为复杂的时间轴序列编排提供了统一且可扩展的底层支持,广泛应用于过场动画、技能演出和交互式叙事等场景。通过深入理解Playable Graph的构建流程与PlayableBehaviour的 阅读详情

导读


本文基于Go源码版本1.16、64位Linux平台、1Page=8KB、本文的内存特指虚拟内存

今天我们开始进入《Go语言轻松系列》第二章「内存与垃圾回收」第二部分「Go语言内存管理」。

4ba732d5875715663c2c7e196c8b832d.png

关于「内存与垃圾回收」章节,会从如下三大部分展开:

  • 读前知识储备(已完结)

    • 指针的大小

    • 内存的线性分配

    • 什么是FreeList?

    • 虚拟内存

    • TCMalloc内存分配原理

  • Go语言内存管理(当前部分)

  • Go语言垃圾回收原理(未开始)

第一部分「读前知识储备」已经完结,为了更好理解本文大家可以点击历史链接进行查看或复习。

目录


关于讲解「Go语言内存管理」部分我的思路如下:

  1. 介绍整体架构

  2. 介绍架构设计中一个很有意思的地方

  3. 通过介绍Go内存管理中的关键结构mspan,带出page、mspan、object、sizeclass、spanclass、heaparena、chunk的概念

  4. 接着介绍堆内存、栈内存的分配

  5. 回顾和总结

通过这个思路拆解的目录:

  • Go内存管理架构(本篇内容)

    • mcache

    • mcentral

    • mheap

  • 为什么线程缓存mcache是被逻辑处理器p持有,而不是系统线程m?

  • Go内存管理单元mspan

    • page的概念

    • mspan的概念

    • object的概念

    • sizeclass的概念

    • spanclass的概念

    • heaparena的概念

    • chunk的概念

  • Go堆内存的分配

    • 微对象分配

    • 小对象分配

    • 大对象分配

  • Go栈内存的分配

    • 栈内存分配时机

    • 小于32KB的栈分配

    • 大于等于32KB的栈分配

Go的内存统一由内存管理器管理的,Go的内存管理器是基于Google自身开源的TCMalloc内存分配器为理念设计和实现的,关于TCMalloc内存分配器的详细介绍可以查看之前的文章《18张图解密新时代内存分配器TCMalloc》。

先来简单回顾下TCMalloc内存分配器的核心设计。

回顾TCMalloc内存分配器


TCMalloc诞生的背景?

在多核以及超线程时代的今天,多线程技术已经被广泛运用到了各个编程语言中。当使用多线程技术时,由于多线程共享内存,线程申在请内存(虚拟内存)时,由于并行问题会产生竞争不安全。

为了保证分配内存的过程足够安全,所以需要在内存分配的过程中加锁,加锁过程会带来阻塞影响性能。之后就诞生了TCMalloc内存分配器并被开源。

TCMalloc如何解决这个问题?

TCMalloc全称Thread Cache Memory alloc线程缓存内存分配器。顾名思义就是给线程添加内存缓存,减少竞争从而提高性能,当线程内存不足时才会加锁去共享的内存中获取内存。

接着我们来看看TCMalloc的架构。

TCMalloc的架构?

TCMalloc三层逻辑架构

  • ThreadCache:线程缓存

  • CentralFreeList(CentralCache):中央缓存

  • PageHeap:堆内存

TCMalloc架构上不同的层是如何协作的?

TCMalloc把申请的内存对象按大小分为了两类:

  • 小对象 <= 256 KB

  • 大对象 > 256 KB

我们这里以分配小对象为例,当给小对象分配内存时:

  • 先去线程缓存ThreadCache中分配

  • 当线程缓存ThreadCache的内存不足时,从对应SizeClass的中央缓存CentralFreeList获取

  • 最后,再从对应SizeClass的PageHeap中分配

2424cb1d31e27d1da47f3d725d5d89b8.png

Go内存分配器的逻辑架构


采用了和TCMalloc内存分配器一样的三层逻辑架构:

  • mcache:线程缓存

  • mcentral:中央缓存

  • mheap:堆内存

87738a7e01b4040f6e167ecd9f929a14.png

实际中央缓存central是一个由136个mcentral类型元素的数组构成。

除此之外需要特别注意的地方:mcache被逻辑处理器p持有,而并不是被真正的系统线程m持有。(这个设计很有意思,后续会有一篇文章来解释这个问题)

我们更新下架构图如下:

ebac7af9fa918cf658a36aaf17c12160.png

「Go内存分配器」把申请的内存对象按大小分为了三类:

  • 微对象 0 < Micro Object < 16B

  • 小对象 16B =< Small Object <= 32KB

  • 大对象 32KB < Large Object

为了清晰看出这三层的关系,这里以堆上分配小对象为例:

  • 先去线程缓存mcache中分配内存

  • 找不到时,再去中央缓存central中分配内存

  • 最后直接去堆上mheap分配一块内存

f09732b338effb2b76823cf05b10dd4c.png

总结


通过以上的分析可以看出Go内存分配器的设计和开源TCMalloc内存分配器的理念、思路基本一致。对比图如下:

920782cc5cb13cc7cccc514f7f7e241e.png

最后我们总结下:

  • Go内存分配器采用了和TCMalloc一样的三层架构。逻辑上为:

    • mcache:线程缓存

    • mcentral:中央缓存

    • mheap:堆内存

  • (下篇文章内容)线程缓存mcache是被逻辑处理器p持有,而不是系统线程m


Go轻松进阶系列 更多文章

点击下方关注我的公众号

d138a65aa19f6ff1a5d556e3866b2215.png

2d1512feecdb3b91b571800dc4756fed.gif

STM32CubeMX定时器进阶玩法:用编码器模式实现电机转速测量(附避坑清单) 本文详细介绍了如何使用STM32CubeMX配置定时器的编码器模式实现电机转速测量,包括硬件连接、CubeMX配置关键步骤、转速计算算法及常见问题解决方案。特别针对工业控制和机器人开发中的高精度需求,提供了实用的避坑清单和优化技巧,帮助开发者高效完成项目。 阅读详情

相关推荐

F280049C_HRPWM_死区时间高精度控制与MEP技术实战解析

本文深入解析了F280049C的HRPWM模块及其基于MEP技术的死区时间高精度控制。通过实测数据与TI官方代码对比,详细阐述了DBREDHR和DBFEDHR寄存器的配置技巧、精度优化方法及常见问题调试,为电源管理和电机控制应用提供了实用的实战指南。

yolo5detector的博客 217

go内存模型及工具

目录 内存结构 arena bitmap spans mspan 内存管理组件 mcache mcentral mheap Go内存分配流程总结: 对象分三种: 申请流程: 内存结构 go程序启动时,会像系统申请一块连续的虚拟内存结构,并划分为如下结构: arena arena区块是死去模型中的堆区 , 他被划分为page ,每页8k . bitmap bitmap区域标识了arena区域哪些地址保存了对象,并使用4bit标...

u012391423的博客 308

深入RK3588内存管理:如何用dma_buf_alloc和mpp_buffer为RGA2分配4G以内内存(附kernel版本选择)

本文深入探讨了RK3588平台上RGA2核心的4G内存限制问题,详细解析了dma_buf_alloc和mpp_buffer两种内存分配方案的技术细节与适用场景。通过代码示例和性能对比,帮助开发者优化高分辨率视频处理流程,并提供了内核版本选择与常见错误排查指南。

weixin_29168153的博客 368

golang的堆内存结构

首先,golang的虚拟内存单元叫做heapArena,go每次申请的虚拟内存单元为64MB,最多能有2^20个内存单元 ,所有的heapArena组成了mheap(go的堆内存)。 简单结构如图: go的堆内存用的是分级分配机制,也就是将一个堆内存分成不同的等级,不同等级的堆内存所占空间不同,如下图: 它会分配合适的内存块给对象,如果有一个小的对象,那么就让他放进最小的空间而不能把他放到大的空间里,如果把他放到大的内存里,会影响到大内存块的效率

xiaodongdonga的博客 445

大华事件检测智能服务器,大华股份:高速公路智能事件检测 解决方案

1方案背景随着我国基础设施建设的飞速发展,公路尤其是高速公路的总里程数年年攀升。交通运输部统计数据显示,截止2017年底全国公路总里程477.35万公里,其中高速公路13.65万公里,位居世界第一。高速公路的运营和管理作为全国交通管理的重要组成部分日益受到严峻挑战,交通拥堵和事故频发已成为高速公路上非常突出的问题。抛洒物、行人、车辆不规则行驶等事件是导致以上结果的重要原因。基于视频分析的高速公路智...

weixin_39523887的博客 1824

RK3568平台开发系列讲解:UBOOT详细介绍

U-boot是一款广泛使用的开源引导加载程序,支持多种嵌入式操作系统和处理器架构。其主要功能包括系统上电时的硬件初始化、引导操作系统内核等。U-boot的引导流程通常包括Boot Code、idbloader.img、uboot.img、boot.img和rootfs.img等步骤。启动U-boot时,通过Debug串口连接板卡,按下ctrl+c键可进入U-Boot命令行模式。U-boot启动过程中会执行一系列初始化操作,如打印系统信息、初始化内存、加载内核设备树、初始化I2C、PMIC电源芯片、DRM框架

内核笔记 813

GO结构体的内存布局

go结构体内存布局

weixin_41914013的博客 921

4.6 知识库使用指南:如何让AI Agent拥有专业知识

本文介绍了如何为AI Agent构建和使用知识库。知识库的作用是为Agent提供专业知识,包含文档、数据和规则,可用于专业问答和知识检索。使用方法包括创建知识库(上传文档)、向量化处理、知识检索以及在Agent中的应用。核心要点是理解知识库的价值和使用流程。文章还提出了构建方法、检索优化和应用实践等思考题,建议准备高质量数据、优化检索效果并持续更新知识库。下节将介绍用LangGraph构建复杂AI应用。

yonggeit的博客 3015

一篇文章讲清Go的内存布局和分配原理

Go内存分配Go 之所以在高并发环境下表现优异,除了咱们都知道的GMP模型,其实Go的内存布局和分配机制也起到了不少作用。今天邀请到公众号「Go编程时光」的号主大佬明哥,给大家盘一盘 Go...

kevin_tech的博客,微信搜「网管叨bi叨」 1427

【Dify系列教程重置精品版】第二章:在Windows上部署Dify

让我们的电脑允许使用Linux系统。有点兴奋是怎么回事?简单来说就是让你的电脑拥有另一个叫做Linux的系统。3.选择“适用于Linux的Windows子系统”与 “虚拟机平台”与“Hyper-V"第1章:安装 wsl (Windows Subsystem for Linux)上一章我们聊了什么是Dify,这一章我们讲一下怎么才能用Dify。好了,我们的环境部署好了,下一章我们正式进入Dify。下载完成后,我们直接一直无脑下一步,安装即可。完成上述步骤,我们就可以开始安装wsl了。我们的虚拟化也是开启的。

xiezhipu的博客 869

RT-DETR升级:TGRS2026 CKConv结合RepC3 | 方向特征与跨阶段融合协同,小目标漏检率大幅下降

小目标鲁棒性提升:CKConv方向选择性抑制背景噪声,RepC3跨阶段传递保留深层微弱热信号,显著改善低对比度、低信噪比场景下的检测精度。

①答疑群聊服务;②YOLO大模型知识问答系统;③计算机视觉论文生成智能体; 161

go的内存分配机制

在引言部分,我们概述了内存管理的重要性,特别是对于 Go 语言。我们强调了自动垃圾回收和并发安全在 Go 内存管理中的核心地位,并预告了后续内容将详细解析这些机制。这为读者提供了一个宏观的视角,为深入理解 Go 的内存管理打下基础。在这一节中,我们回顾了操作系统的内存模型,包括多级存储模型、虚拟内存与物理内存的关系,以及分页管理的基本原理。这些概念为理解 Go 语言的内存管理机制提供了基础。通过分页管理,操作系统能够有效地管理内存资源,而 Go 语言则在此基础上进一步优化了内存的分配和回收策略。

z3551906947的博客 1182

华为的C语言编程规范.pdf

华为技术有限公司内部技术规范。本规范制定了编写C语言程序的基本原则、规则和建议。从代码的清晰、简洁、可测试、安全、程序效率、可移植各个方面对C语言编程作出了具体指导。

关于Go内存架构,一个有趣的问题

导读本文基于Go源码版本1.16、64位Linux平台、1Page=8KB、本文的内存特指虚拟内存今天我们开始进入《Go语言轻松系列》第二章「内存与垃圾回收」第二部分「Go语言内存管理」。关于「内存与垃圾回收」章节,会从如下三大部分展开:读前知识储备(已完结,点击下方链接查看)指针的大小内存的线性分配什么是FreeList?虚拟内存TCMalloc内存分配原理Go语言内存...

TIGERB的技术博客 535

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

GO运行组件浅析-内存分配

概念介绍 page 大小为8Kb的内存块 span 由多个地址连续的页(page)组成的大块内存.分配器按照页数来区分不同大小的span. 但是span大小不是固定不变的,可能发生裁剪和合并操作: 如果获取闲置span的时候没有找到大小合适的,就会找到一个更大的span,然后对其做裁剪操作,多余部分构成新的span被放回管理数组. 如果有地址相邻的空闲span,分配器就会试图合并来构建更大的内存...

404lz保留地 672

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

【社区图书馆】浅析《Go程序开发实战宝典》

本篇博客文章主要对《Go程序开发实战宝典》这本书进行了全面的解读和总结。全书内容涵盖了Go语言的基础语法、数据类型、控制结构以及实战编程的例子。初学者可以通过本书快速入门Go语言,而有经验的开发者也能够从中了解和掌握Go语言在实际项目中的应用。本书不仅能帮助读者掌握Go语言,更重要的是提供了如何用Go语言去解决实际问题的思路和实例。总的来说,《Go程序开发实战宝典》无论对于初学者还是有经验的开发者都是一本极具参考价值的书籍,本博客全面解读了书中的精华,希望对你的学习有所帮助。

Ricky的博客 1531

Go技术日报(2021-02-15)——Go究竟是否为空切片分配了底层数组

每日一谚:Utils is a very bad name for anything inside your code. go中文网每日资讯--2022-02-15 一、Go语言中文网 把Go的BoltDB用在生产环境,结果18000台服务器瘫痪了 浅析 unsafe.Pointer 与 uintptr Go每日一题 今日(2022-02-15) 二、亚军进化史 Go技术日报(2022-02-14)——Go语言切片面试真题8连问 三、脑子进煎鱼了 生产环境Go程序内存泄露,用pprof如何快速.

韩亚军的博客 1万+

Go技术日报(2021-11-29/30)——一些常用的代码规范总结

每日一谚: Use short names. go中文网每日资讯--2021-11-30 一、Go语言中文网 Go:用 kqueue 实现一个简单的 TCP Server 浅析gowatch监听文件变动实现原理 二、码农桃花源 如何有效控制 Go 线程数? 三、k8s技术圈 ensp 模拟 calico 跨网段 bgp 网络 四、Go招聘 如何组织 Go 代码?Go 作者的回答惊呆了 五、网管叨bi叨 透过一个编译报错,总结两个Go程序编译的重要知识 六、CloudNativeCommun.

韩亚军的博客 575

锅总浅析容器与wasm

容器与wasm的差异wasm与容器开销分析wasm与容器安全性分析为什么wasm适合高并发go与wasm为什么没走到一起wasm与kubernetes容器与wasm的差异沙箱机制与容器和操作系统内核之间存在一定的交集,尤其在 Linux 系统上。然而,WASM 沙箱和 Linux 容器尽管功能相似,但实现方式和开销有根本的差异。以下是对 WASM 沙箱与容器技术的关键不同和开销差异的深入分析。1....

专注于输出大概有用的软硬件技术! 991

DPDK:v22.03.0原理浅析

内核配置 需要用户态的glibc库,内核的 HUGETLBFS:提高性能,大页放到tlb更少机会失效,因为数量少。大内存页也可以挂到文件系统使用。 PROC_PAGE_MONITOR :进程内存页监控 HPET 和HPET_MMAP:开启高精度定时器,并允许映射到用户空间 VFIO 依赖IOMMU的保护,大内存页的映射。如果没有IOMMU,就需要uio,uio不安全并且需要root权限。 EAL 环境抽象层:dpdk加载和运行,支持多进程多线程,core亲和性程序,系统内存分配释放,原子和锁的

hhd1988的专栏 1114

C#、C++、Java多语言游戏开发实战:从“战争防线”看技术选型与架构设计

在游戏开发领域,技术选型是决定项目成败的关键决策之一,它深刻影响着项目的性能边界、开发效率和长期可维护性。从原理上讲,不同的编程语言和引擎生态,对应着不同的性能优化模型、内存管理机制和跨平台能力。C#凭借Unity引擎的成熟生态,在快速原型开发和可视化编辑方面展现出极高的工程价值,特别适合需要快速迭代玩法的项目。C++则通过直接的内存控制和编译优化,为追求极致性能和大规模实时计算的场景提供了底层支持。Java以其稳健的虚拟机、强大的服务器端生态和“一次编写,到处运行”的特性,在构建跨平台客户端和可扩展的游戏

weixin_33861800的博客 371

回到本真,代码到底是什么?

本文特指Linux操作系统下和静态编译性语言代码即文本我们写的「代码」只是个普通的文本文件,因为编译器等方式得以转化为二进制代码。代码文本从最早期的「二进制代码」演化到现在“百花齐放”的「编程语言代码」,粗略演化路线:二进制代码:初期二进制代码文本并不具备可读性,假如让你直接编写二进制代码,“也许你一辈子都在调试代码错误?????”汇编代码:为了让代码更易于人们编写和阅读,产生...

TIGERB的技术博客 7487

Android面试必备!爆火超全的《Android性能优化全方面解析》

移动端性能监控方案HertzAndroid性能优化之虚拟机调优Android性能优化后续Android UI 性能优化美团外卖Android Lint代码检查实践使用Android Studio和MAT进行内存泄漏分析手淘全链路性能优化第二章 响应速度Android App 启动优化全记录Android 中如何计算 App 的启动时间?应用启动时间Android 冷启动优化除了老三样还有哪些新招?支付宝 App 构建优化解析。

2401_84103616的博客 880

关于新零售的一些思考

本文作为2024上半年大量输入之后的核心思考之一。工作到一定阶段之后,思考的重要性越来越高,后续会把自己的个人思考记录在这个新系列《施展爱思考》。背景是上半年面临业务转型从电商到新零售,本文是相关大量输入之后的思考,对新零售感兴趣的可以看看和讨论下。什么是新零售?首先新零售一定是一个基于时间跨度的相对概念。比如在过去,借助电视和电信网络的诞生,第一场电视购物的出现,电视购物相对于以往的零售方式,就...

TIGERB的技术博客 1114

Radis还年轻,代替MySQL还言之过早

今天网上看见一片关于Radis的讨论,想起前几天熊波提到的想用Radis代替MySQL,我想要说的是Radis现在处于成长期,自身还有很多问题没能被很好的解决,所以用Radis代替MySQL现在还言之过早,不过我们可以关注这一新兴的开源数据库。 讨论的具体页面内容快照如下: Tim[后端技术] Tim's blog, 关于后端架构、互联网技术、分布式、大型网络应用、NoS

Jingle的专栏 9349

职场转型之路:从新手到一线主管

前言背景是把近来看的管理相关书籍(书籍附文末)和个人思考进行了梳理。在这里顺手把个人关键角色转型的核心分享给大家,希望对大家有所帮助。至今经历过的三次关键角色转型:从新手到团队骨干从团队骨干到虚线组长从虚线组长到一线主管本着大道至简的初衷,以下是角色转型的3个关键点:核心:思维转变(重中之重)能力:其次是技能补充(如果已知技能可以提前储备)时间:基于角色的时间管理关键角色成为团队骨干思维转变(重中...

TIGERB的技术博客 442

程序员需要具备经营意识吗?

近期份思考程序员需要具备经营意识吗?个人看法:至少以下业务研发角色需要。一线技术主管+未来规划为技术管理路线的青年才俊们因为:我意识到经营管理也是管理工作中的重要一环,管理工作包含团队管理和经营管理等激发新的认知觉醒:多多益善,跳出技术本身,补充新认知管理工作管理工作包含团队管理和经营管理:团队管理(之前重点关注的)经营管理(接下来学习的重点)团队管理核心:在明确目标下带领团队取得战果,重点是执行...

TIGERB的技术博客 166
上一篇: 一大波更新预告
下一篇: 关于Go内存架构,一个有趣的问题
TIGERB_Blog
博客等级 码龄10年 0粉丝 65原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值