9张图轻松吃透Go内存管理单元

【Go】Golang内存管理篇 ⑤ 一. 内存管理 内存分配器 堆和栈区别 1.空间分配区别: 栈:由操作系统(编译器)自动分配释放,存放函数的参数值,局部变量的值等,其操作方式类似于数据结构中的栈。 堆:一般由代码分配释放,若代码没有显式释放,程序结束时可能由OS回收,分配方式类似链表。 2.缓存方式区别: 栈:使用的是一级缓存,通常都是被调用时处于存储空间中,调用完毕立即释放。 堆:存放在二级缓存中,生命周期由垃圾回收算法来决定。 3.数据结构区别: 栈:先进后出的线性结构。 堆:类似于一颗树。 1.1 go内存分配 阅读详情

导读


本文基于Go源码版本1.16、64位Linux平台、1Page=8KB、本文的内存特指虚拟内存

今日继续更新《Go语言轻松系列》第二章「内存与垃圾回收」第二部分「Go语言内存管理」。

点击查看本系列更多文章

4fc1a779eff78d6527f2aa096c514548.png

想深入了解Go语言的内存管理实现,必然绕不开「Go内存管理单元mspan」,Go堆内存、栈内存的分配过程都依赖了「内存管理单元mspan」。今天我们就通过几张图,层层深入并解开「Go内存管理单元mspan」的神秘面纱。

本文包含的具体概念如下:

  • page的概念

  • mspan的概念

  • object的概念

  • FreeList的概念

  • sizeclass的概念

  • spanclass的概念

本文也是为了后续学习Go堆内存、栈内存的分配过程打好基础。

正文


介绍Go内存管理单元mspan前,需要先看下page的概念,因为mspan是由N个且连续的page组成。

page的概念


操作系统是按page管理内存的,同样Go语言也是也是按page管理内存的,1page为8KB,保证了和操作系统一致,如下图所示:

891e3ce849be6bcd429aaf429f7781e4.png

Go内存管理单元mspan通常由N个且连续的page组成,如下图所示:

mspan由page组成


7cf89f518263d08594d8b2ce0682c75f.png

  • mspan可以由1个page组成

  • mspan也可以由2个连续的page组成

  • mspan也可以由3个连续的page组成

  • mspan更可以由N个连续的page组成

上图左半部分是mspan的结构体的关键字段,其中npages就代表了这个mspan是由几个连续的page组成。

除此之外,mspan和mspan之间还可以构成链表,如下图所示

mspan可构成链表


4a2289c6ec6a834461788f68f3e99793.png

这里需要注意的是:只有npages的值相同的mspan互相才可以组成一个链表。如上图所示,具体原因下文会讲。

看到这里,你会以为Go是按页page8KB为最小单位分配内存的吗?

答案:当然不是,如果这样的话会导致内存使用率不高。Go语言内存管理器会把mspan再拆解为更小粒度的单位object。如下图所示:

b0cec68ae274de3fc026f3678570efad.png

object和object之间构成一个链表,大家这里肯定会想到是LinkedList,实际上并不是,因为LinkedList节点自身的指针也会占用8B内存,作为内存管理器,这部分内存会被白白浪费掉,所以这里通常使用的数据结构是FreeList。

什么是FreeList?


FreeList本质上还是个LinkedList,和LinkedList的区别:

  • FreeList没有Next属性,所以不是用Next属性存放下一个节点的指针的值。

  • FreeList“相当于使用了Value的前8字节”(其实就是整块内存的前8字节)存放下一个节点的指针。

  • 分配出去的节点,节点整块内存空间可以被复写(指针的值可以被覆盖掉)

如下图所示:

64d9330a453b0dfe551e44a9e7cc008e.png

所以:FreeList一个节点最小为8字节Byte

备注:因为要存指针,指针的大小为8字节,为什么?可以参考之前文章《64位平台下,指针自身的大小为什么是8字节?》

得到Go内存管理单元mspan被拆解为object图示如下:

cdb3a9cd0f5fd9ddb8a10da9f93fd91b.png

到这里问题又来了,object的具体大小是多大呢,是怎么决定的?

答案:是由sizeclass决定的。

什么是sizeclass?


sizeclass是一个映射列表,实际是一个数组类型[68]uint16,它的值决定了object的大小,除此之外,mspan由几pages构成也是sizeclass值决定的。sizeclass映射列表的具体规则如下:

// 文件位置:`src/runtime/sizeclasses.g`
// 索引0位置被保留使用,具体使用位置后续会讲。

如上文所述,`object`之间采用freelist数据结构构成链表,指针为8Byte所以最小的object大小为8Byte

字段解释:
class: sizeclass值 
bytes/obj: 该`mspan`拆分object大小
bytes/span: 该`mspan`是由几pages组成
objects: 该`mspan`共计包含的object数量

class  bytes/obj  bytes/span  objects
1          8        8192     1024
2         16        8192      512
3         24        8192      341
4         32        8192      256
5         48        8192      170
6         64        8192      128
...略...
65      27264       81920        3 
66      28672       57344        2
67      32768       32768        1

表格左右滑动查看

sizeclass值object大小由几pages组成
0保留1page
18Byte1pages
216Byte1page
324Byte1page
.........
6732KB4pages

所以mspan结构体上只要维护一个sizeclass的字段,就可以知道该mspan中object的大小、数量。但是呢,实际上这个字段并不是sizeclass,而是spanclass,如下图所示:

73d46208eff978d57b03db43d456a630.png

那么,问题又来了😂。

什么是spanclass?


实际上Go内存管理单元mspan被分为了两类:

  • 第一类:需要垃圾回收扫描的mspan,简称scan

  • 第二类:不需要垃圾回收扫描的mspan,简称noscan

所以说并不是所有的Go内存管理单元mspan会被垃圾回收扫描。为了区别这两类mspan,Go语言把类型标识和上面sizeclass的值一起放在了同一个字段里,具体如下:

  • sizeclass值左移一位:sizeclass << 1

  • sizeclass值最后一位存类型

    • 最后一位为1:则是不需要垃圾回收扫描的mspan

    • 最后一位为0:则是需要垃圾回收扫描的mspan

图示如下:

a7ca2f3b94ebc9ea8dee4f9598b62690.png

总结


mspan拆分object总结


这里我们以spanclass的10进制值为7的mspan为例:

表格左右滑动查看

spanclass10进制值为7
可得,spanclass2进制为0000 0111
可得,sizeclass为7>>1:2进制0000 0011,10进制3
可得,mspan由1page组成,共计8KB(8192Byte)
可得,object大小为24Byte
可得,mspan共计包含341个object
可得,mspan尾部浪费8Byte

具体图示如下:

aa0b0abc8d3709cc85b85819a017e86b.png

mspan关键字段总结


挑选mspan的几个重要字段,如下图:

f25e39ca379f456b2600d08ffabbd8b5.png

表格左右滑动查看

字段名解释
next、prev、listmspan之间可以构成链表
startAddrmspan内存的开始位置,N个连续page内存的开始位置
npagesmspan由几page组成
freeindex空闲object链表的开始位置
nelems一共有多少个object
spanclass决定object的大小、以及当前mspan是否需要垃圾回收扫描
......

下篇文章就开始讲解Go堆内存的分配时机与过程。

点击查看本系列更多文章


Go轻松进阶系列 更多文章

点击下方关注我的公众号

ad9616c92ab3c97497fdd157ffb7e5b1.png

38eeddfc13b74ba900f121f534084384.gif

深入解析LPC292x系列ARM9 MCU:架构、通信与电机控制实战 微控制器(MCU)作为嵌入式系统的核心,其架构设计与外设集成能力直接决定了系统的性能与可靠性。经典的ARM9内核在性能与功耗间取得了良好平衡,通过哈佛总线架构和流水线技术提升了指令吞吐率,为复杂实时任务提供了坚实基础。其技术价值在于为开发者理解从时钟管理、存储器映射到中断处理的完整系统链条提供了绝佳范本,这种深度理解是驾驭更现代Cortex-M/A系列芯片的关键。在应用场景上,此类高度集成的SoC尤其适用于对实时性和通信能力要求苛刻的工业控制与汽车电子领域。本文以NXP LPC292x系列为例,深入剖析其* 阅读详情

相关推荐

Golang -内存管理

内存分配 Golang在程序启动时预先向操作系统申请内存,包括: arena即堆区,应用中需要的内存都从这里分配,大小为512G 为了方便内存的管理,arena区内存被分成一个个的page,页, 每个页大小为8KB, 整个arena共512G / 8K = 64M个页 bitmap即位图区,存放内存管理中所有的位图信息 16G? spans即所有已创建的span的指针列表(下文会介绍span的概念和功能) 每个Span指向一个page,故spans大小为64M * 8B = 512MB;

qq_39679639的博客 1471

一文彻底理解Go语言栈内存/堆内存

系列导读本文基于64位平台、1Page=8KB、Go1.6本文为《Go语言轻松进阶》系列第二章「内存与垃圾回收」的第三小节。第二章目录:知识预备指针的大小(完结)TCMalloc内存分配原理(完结)Go内存设计与实现内存管理架构(完结)内存管理单元mspan(完结)栈内存/堆内存(本文内容)Go的垃圾回收原理(未开始)查看本系列完整内容请访问http://tigerb.cn/go/#/kernal...

TIGERB的技术博客 2657

STM32G474串口调试避坑指南:从CubeMX配置到中断收发,手把手教你搞定USART1

本文详细解析了STM32G474串口调试中的常见问题,从CubeMX配置到中断收发,提供USART1的避坑指南。涵盖时钟树同步、GPIO模式选择、中断接收逻辑、波特率偏差修正等关键点,帮助开发者高效解决串口通讯难题,提升嵌入式开发效率。

weixin_29191081的博客 212

一文吃透Go内存管理

想深入了解Go语言的内存管理实现,必然绕不开「Go内存管理单元mspan」,Go堆内存、栈内存的分配过程都依赖了「内存管理单元mspan」。今天我们就通过几张图,层层深入并解开「Go内存管理单元mspan」的神秘面纱。 本文包含的具体概念如下: page的概念 mspan的概念 object的概念 FreeList的概念 sizeclass的概念 spanclass的概念 正文 介绍Go内存管理单元mspan前,需要先看下page的概念...

FeelTouch Labs 1123

汽车氛围灯 PCBA 方案开发:从技术底层解析车载光效的核心逻辑

摘要: 车载氛围灯PCBA方案开发需兼顾性能与车规要求。主控芯片选型应关注运算能力、温度适应性和低功耗(如NXPS32K344、复旦微FM33FG065A)。电路防护需采用TVS二极管等组合设计,满足ISO7637-2浪涌防护标准。通信协议分层应用(CAN+LIN),调光需解决色准与温漂问题,动态灯效通过FIFO队列实现。开发中需进行温度循环、振动、EMC等可靠性测试,细节处理(如三防涂覆)至关重要。该领域开发需熟悉车规标准并积累实车经验。

2401_87454052的博客 1136

强化学习新手上路:用PPO-Clip轻松玩转Pendulum-v1(PyTorch保姆级教程)

本文提供了一份基于PyTorch的PPO-Clip算法实战教程,指导强化学习新手在Pendulum-v1环境中构建连续控制智能体。教程详细解析了PPO-Clip的核心机制,特别是其Clip机制如何限制策略更新幅度以确保训练稳定,并涵盖了从环境配置、策略网络设计、经验收集到完整训练框架搭建的全过程,是掌握连续动作空间强化学习的实用指南。

weixin_29062963的博客 274

golang源码解析--内存mspan,mcache结构体

基本概念 mspan简介 Go中内存管理的基本单元,是由一片连续的 8KB的页组成的大块内存。注意,这里的页和操作系统本身的页并不是一回事,它一般是操作系统页大小的几倍。一句话概括: mspan是一个包含起始地址、 mspan规格、页的数量等内容的双端链表。 关于span的状态: 关于mspan的状态转换: 当mspan在堆的空闲treap(详情见备注)上,它的状态为mSpanFree 当mspa...

hello_bravo_的博客 2016

AI辅助编程实战指南:从提示工程到开发环境搭建

大型语言模型(LLM)作为现代人工智能的核心技术,通过自然语言理解和生成能力,正在深刻改变软件开发范式。其原理基于海量代码和文本数据的预训练,能够根据上下文生成符合逻辑的代码片段和解决方案。这一技术的核心价值在于将开发者从繁琐的语法和基础逻辑编写中解放出来,提升开发效率与代码质量。在实际工程应用中,AI辅助编程已广泛应用于日常编码、代码调试、文档生成和系统设计等场景。其中,提示工程(Prompt Engineering)和检索增强生成(RAG)是两项关键技术:前者通过结构化、角色化的指令设计,引导AI生成更

weixin_26775679的博客 622

Go语言内存分配器-MSpan

Go语言内存分配器-MSpan 11 October 2013 skoo 阅读 713 次 0 人喜欢  0 条评论  收藏 MSpan和FixAlloc一样,都是内存分配器的基础工具组件,但和FixAlloc没太大的交集,各自发挥功效而已。span(MSpan简称span)是用来管理一组组page对象,先解释一下page,page就是一个4k大小的内存块而已。span

caoshulin1989的专栏 1274

大模型工作流Dify面试题及参考答案

设计一个基于 Dify 的智能摘要与重点提取 Agent,需结合Prompt 工程、模型能力配置和工作流优化,确保对长文本的高效解析和关键信息提炼。1. 明确任务需求与输入输出输入:长文本内容(如文章、报告、会议记录)或文本 URL输出摘要:简洁概括原文核心内容,控制在原文长度的 10%-20%重点列表:分点列出关键数据、结论、行动项等可选:关键词提取、情感倾向分析示例场景输入:一篇 5000 字的行业报告。

大模型大数据攻城狮的专栏 2520

人工智能创业数据管理的重要角色

人工智能,数据管理,创业,数据治理,数据安全,数据分析,数据可视化 1. 背景介绍 在当今数据爆炸的时代,数据已成为企业最重要的资产之一。人工智能(AI)技术的快速发展,为数据管理带来了新的机遇和挑战。AI技术能够帮助企业从海量数据中挖掘价值,提高决策效率,提升运营水平。然而,数据管

AGI×大数据,开启智能时代的认知跃迁;解码AGI,赋能数据驱动的智能革命。 925

golang 内存分配策略

•如果没有可用于mcentral的块,则应用mheap并使用BestFit查找最合适的mspan。如果超出了应用程序的大小,则会根据需要进行划分,以返回用户所需的页面数。•大小在16B〜32k之间,计算要使用的sizeClass,然后在mcache中使用相应的sizeClass的块分配。但是Go在OS级别分配的页面甚至更大(称为竞技场)。•如果与mcache对应的sizeClass没有可用的块,则将其应用于mcentral。•如果没有可用的跨度,请向操作系统申请一组新的页面(至少1MB)。

silver9886的专栏 638

Claude Code 实战 从零教你用 Claude Code 干活

Claude Code 实用指南:AI 编程助手的核心功能与使用技巧 Claude Code 是 Anthropic 推出的智能编程助手,可直接在本地环境中执行操作,相比传统 AI 对话工具具有显著优势:能直接读取项目文件、自动执行修改、记忆项目规则,并支持连接外部服务。本文详解其安装配置、三大核心场景(资料搜索、网页抓取、文章撰写)及进阶功能(Skills、MCP协议、斜杠命令)。特别提供了工作模式切换、CLAUDE.md配置文件等实用技巧,并附常见问题解决方案,帮助用户高效利用这一"坐在身边的

2401_84052244的博客 7628

回到本真,代码到底是什么?

本文特指Linux操作系统下和静态编译性语言代码即文本我们写的「代码」只是个普通的文本文件,因为编译器等方式得以转化为二进制代码。代码文本从最早期的「二进制代码」演化到现在“百花齐放”的「编程语言代码」,粗略演化路线:二进制代码:初期二进制代码文本并不具备可读性,假如让你直接编写二进制代码,“也许你一辈子都在调试代码错误?????”汇编代码:为了让代码更易于人们编写和阅读,产生...

TIGERB的技术博客 7487

ARM 之十六 详解 CMSIS 版本变迁、各组件使用示例

目前,CMSIS 已经发展到了第六版,其目录结构也发生了重大的变化。在不断发展中,很多原来 CMSIS 的组件被不断独立出去,并因此成立了很多开源社区,今天就来学习一下!由于 CMSIS 已经包含了相当丰富的文档,因此,本文重点学习版本之间的变化以及一些实际使用示例。

技术干货 1959

Probability and Statistics - 4th edition

Probability and Statistics - 4th edition

关于新零售的一些思考

本文作为2024上半年大量输入之后的核心思考之一。工作到一定阶段之后,思考的重要性越来越高,后续会把自己的个人思考记录在这个新系列《施展爱思考》。背景是上半年面临业务转型从电商到新零售,本文是相关大量输入之后的思考,对新零售感兴趣的可以看看和讨论下。什么是新零售?首先新零售一定是一个基于时间跨度的相对概念。比如在过去,借助电视和电信网络的诞生,第一场电视购物的出现,电视购物相对于以往的零售方式,就...

TIGERB的技术博客 1114

廖雪峰Python教程[完整版]

廖雪峰的python教程整理的,已经排好版了,而且还是完整的,适合小白

职场转型之路:从新手到一线主管

前言背景是把近来看的管理相关书籍(书籍附文末)和个人思考进行了梳理。在这里顺手把个人关键角色转型的核心分享给大家,希望对大家有所帮助。至今经历过的三次关键角色转型:从新手到团队骨干从团队骨干到虚线组长从虚线组长到一线主管本着大道至简的初衷,以下是角色转型的3个关键点:核心:思维转变(重中之重)能力:其次是技能补充(如果已知技能可以提前储备)时间:基于角色的时间管理关键角色成为团队骨干思维转变(重中...

TIGERB的技术博客 442

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

程序员需要具备经营意识吗?

近期份思考程序员需要具备经营意识吗?个人看法:至少以下业务研发角色需要。一线技术主管+未来规划为技术管理路线的青年才俊们因为:我意识到经营管理也是管理工作中的重要一环,管理工作包含团队管理和经营管理等激发新的认知觉醒:多多益善,跳出技术本身,补充新认知管理工作管理工作包含团队管理和经营管理:团队管理(之前重点关注的)经营管理(接下来学习的重点)团队管理核心:在明确目标下带领团队取得战果,重点是执行...

TIGERB的技术博客 166

go 内存管理 设计与实现 图解

span, arena, heap 是什么, 关系是什么, 申请内存时如何分配? 内存分配器如何设计, 指针如何标记?

zpoint's blog 1152

内存分配_go内存分配管理

基本分配单元 class和spango内存管理粒度是8KB(在大多数操作系统中,一个page大小为4KB,对于go来说,也就是两个page),可以理解为在go中page是8KB大小,每次go分配一个page就是分配8KB内存go对象管理粒度分为67种大小,也叫class或者块一个page根据class大小可以分为 8K/class size, 如果class为1K,那么可以分8个class相同且地...

weixin_42175035的博客 307

Golang 内存之mspan、mcache、mcentral 和 mheap 数据结构

Golang中的内存部件组成关系如下图所示golang 内存分配组件在学习golang 内存时,经常会涉及几个重要的数据结构,如果不熟悉它们的情况下,理解它们就显得格外的吃力,所以本篇主要对相关的几个内存组件做下数据结构的介绍。在 Golang 中,mcachemspanmcentral和mheap是内存管理的四大组件,mcache管理线程在本地缓存的mspan,页 mcentral 管理着全局的 mspan 为所有 mcache 提供所有线程。

qq_24428851的博客 1226

golang面试

每第61次,会直接从全局队列取,避免goroutine饥饿。

诸君拔剑吧. 2055

Go内存管理

Go内存管理

qq_39657702的博客 1529

Go的内存管理(最新学习)

标题Go的内存管理 内存管理的设计 内存空间有堆区和栈区。栈一般存储局部变量,方法有关的数据,由编译器自动管理,。堆用来存放对象,java和go都是通过垃圾收集器回收,不需要手动对内存进行释放和管理。 内存管理一般包含三个组件 应用程序 内存分配器 垃圾收集器 内存分配器 应用程序通过内存分配器申请内存,内存分配器从堆中初始化相应的内存区域。 分配方法 内存分配器一般包含两种分配方法 线性分配器 空闲链表分配器 线性分配器 Java就是使用的线性分配器的思想。 使用线性分配器时,只需要在内存中维护一

inet_ygssoftware的博客 2万+

图解Go内存管理系列(1)

这篇博客是我在维尔纽斯的 Go Meetup[1] 演讲的总结。如果你在维尔纽斯并且喜欢 Go 语言,欢迎加入我们并考虑作演讲 在这篇博文中我们将要探索 Go 语言的内存管理,首先让我们来思考以下的这个小程序: funcmain(){ http.HandleFunc("/bar",func(whttp.ResponseWriter,r*http.Request){ fmt.Fprintf(w,"Hello,%q",html.EscapeString(r.UR...

flynetcn的专栏 628
上一篇: 关于Go内存架构,一个有趣的问题
下一篇: 回到本真,梦回计算机发展史
TIGERB_Blog
博客等级 码龄10年 109粉丝 65原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值