关于Go内存架构,一个有趣的问题

GO 语言的运行时初始化过程解析 ps:这是我19年的写的总结,编辑成了pdf,当时用了很多截图,导致没法复制源码,原来注释的代码也找不到了,只能将就了。 #一、汇编代码分析 本文将剖析,下面这段go语言代码运行的背后逻辑,主要从goroutine的调度层面,深度挖掘其背后的运 行逻辑。以go 1.5.1的源代码为分析: 1.1 go源代码 package main func main(){ go add(1,2) } func add(a,b int)(int,int,int){ return a+b,a,b } 先来看看上面这段程序的 阅读详情

导读


本文基于Go源码版本1.16、64位Linux平台、1Page=8KB、本文的内存特指虚拟内存

今天我们开始进入《Go语言轻松系列》第二章「内存与垃圾回收」第二部分「Go语言内存管理」。

fef5fd65f4d9d6521f40130b79430b6c.png

关于「内存与垃圾回收」章节,会从如下三大部分展开:

第一部分「读前知识储备」已经完结,为了更好理解本文大家可以点击历史链接进行查看或复习。

目录


关于讲解「Go语言内存管理」部分我的思路如下:

  1. 介绍整体架构

  2. 介绍架构设计中一个很有意思的地方

  3. 通过介绍Go内存管理中的关键结构mspan,带出page、mspan、object、sizeclass、spanclass、heaparena、chunk的概念

  4. 接着介绍堆内存、栈内存的分配

  5. 回顾和总结

通过这个思路拆解的目录:

  • Go内存管理架构(点击查看)

    • mcache

    • mcentral

    • mheap

  • 为什么线程缓存mcache是被逻辑处理器p持有,而不是系统线程m?(本篇内容)

  • Go内存管理单元mspan

    • page的概念

    • mspan的概念

    • object的概念

    • sizeclass的概念

    • spanclass的概念

    • heaparena的概念

    • chunk的概念

  • Go堆内存的分配

    • 微对象分配

    • 小对象分配

    • 大对象分配

  • Go栈内存的分配

    • 栈内存分配时机

    • 小于32KB的栈分配

    • 大于等于32KB的栈分配

在学习Go语言内存管理部分过程中,发现了一个很有意思的问题,今天就借助这篇文章:

  • 把这个问题也抛给大家,建议大家看见这个问题后,可以先自己思考一番🤔再读下文

  • 进一步强化大家对Go内存架构的理解

开始本篇文章之前,我们快速回顾下「Go内存架构」相关的核心知识点,温故知新。

回顾「TCMalloc内存管理架构」


先来简单回顾下「TCMalloc内存管理架构」。详细讲解可查看之前的文章《18张图解密新时代内存分配器TCMalloc》

痛点

多线程时代 ---> 线程共享内存 ---> 线程申请内存会产生竞争 ---> 竞争加锁 ---> 加锁影响性能。

解法

每个线程上增加内存缓存ThreadCache。

简易架构图如下:

8cd0f201b48e9a54223a376057d1819a.png

回顾「Go内存管理架构」


接着简单回顾下「Go内存管理架构」。详细讲解可查看之前的文章《浅析Go内存管理架构》

痛点

同上。

解法

同上,基于「TCMalloc」实现。

简易架构图如下:

6a070f3ad1161ace4236f420216d9d91.png

有趣的问题


关于这个有趣的问题,通过上述的内容,细心的朋友可能已经发现了,具体问题如下:

为什么Go的内存管理器的线程缓存是mcache被逻辑处理器p持有,而并不是被真正的系统线程m持有?

个人思考时间


是不是很有意思,关于这个问题。对面的你不妨先停下来思考几分钟:

为什么?

解密


按照原TCMalloc的设计思想,线程缓存mcache确实应该被绑定到系统线程M上。

那么我们就假设:按照原TCMalloc的思想,把mcache绑定系统线程M上。接着我们只需要看看这个假设有什么问题即可。

要论证这个假设需要先来简单看看「Go的调度模型GMP」。

Go的调度模型GMP

首先直接上入门级「Go的调度模型GMP」架构图:

9559ff2122d4cb7c45680c2d19ab4f53.png

关于「Go的调度模型GMP」的原理,大家应该看了无数文章,我这里就不细说了,如果还有不熟悉可以自行搜索哈。

这里简单提下关于GMP的入门级知识哈,其实GMP对应的只是Go语言自身的逻辑结构而已,含义如下:

  • M:代表结构体m,全称Machine,这个结构体的核心是会和真正的系统线程thread绑定。

  • G:代表结构体g,全称Goroutine,这个结构体就是大家熟知的协程,简单理解其实就是这个结构体绑定了一个有着被并发执行需求的函数。

  • P:代表结构体p,全称Processor,这个结构体表示逻辑处理器,通过这个结构体和计算机的逻辑处理器建立对应关系,P的数量通常和计算机的逻辑处理器数量一致通过runtime.GOMAXPROCS(runtime.NumCPU())设置。

三者的简单职责以及关系:

  • P

    • 和一个M互相绑定

    • 维护了一个可执行G的队列

  • M

    • 和一个P互相绑定

    • 负责执行G的调度,通过调度当前M绑定的P的G队列、以及全局G队列,达到G可被并发执行的目的。

    • 负责执行P调度过来的当前G

此阶段结论:以上的调度过程P的数量和M的数量是一一对应的,所以把mcache绑定系统线程M上和P看起来都可以。所以我们上面的假设「按照原TCMalloc的思想,把mcache绑定系统线程M上」目前看起来确实也没啥问题。

我们继续往下看,一种特殊的场景M会和P解绑。

I/O操作的系统调用

当G执行一个I/O操作的系统调用时,比如read、write,因为系统调用过程中的阻塞(原因:内核往用户态拷贝数据的过程产生的阻塞,不在本文范畴,后续文章详解)问题,会发生如下操作:

  • 当前G(我们命名为g1)的M(我们命名为m1)和当前的P(我们命名为p1)解绑

  • 上面的p1会绑定一个其他的M(m2)

  • m1执行完成系统调用之后会被放到闲置M链表里

df78fe294e61fb1ec1bdc3a5f50e0d8d.png

由于m1会被放进闲置链表,这是不是就意味着m1上的mcache当前就不能被复用,所以这样看起来是不是mcache绑定到p1上更合适。

结论: 由于M可能因为执行一个I/O操作的系统调用被阻塞(原因:内核往用户态拷贝数据的过程产生的阻塞),M会和当前P解绑,当前P绑定其他闲置或者新的M,之前的M结束系统调用会被放进闲置M链表。之前的M的mcache就不会得到有效的复用,反而mcache绑定到P上就不存在这个问题,所以mcache绑定到P上更合适。

源码论证

通过Go的源码进一步证明我们的结论。

  • 代码位置:src/runtime/proc.go::3813

  • 函数名称:func exitsyscall0(gp *g)

源码如下:

// Go版本1.6
// 退出系统调用的代码逻辑
// 代码位置
// src/runtime/proc.go::3813
func exitsyscall0(gp *g) {
 _g_ := getg()

 casgstatus(gp, _Gsyscall, _Grunnable) // 把执行系统调用的g从系统调用状态改为可执行
 dropg()
 lock(&sched.lock)
 var _p_ *p
 if schedEnabled(_g_) {
  _p_ = pidleget() // 找空闲的p 
 }
 if _p_ == nil {
  globrunqput(gp) // 找不到空闲的p 则放进全局队列
 } else if atomic.Load(&sched.sysmonwait) != 0 {
  atomic.Store(&sched.sysmonwait, 0)
  notewakeup(&sched.sysmonnote)
 }
 unlock(&sched.lock)
 if _p_ != nil {
  acquirep(_p_)
  execute(gp, false) // 执行当前因系统调用阻塞的g
 }
 if _g_.m.lockedg != 0 {
  stoplockedm()
  execute(gp, false) // 执行当前因系统调用阻塞的g
 }
 stopm() // 停止m,并放到调度器的m闲置链表
 schedule() // 触发调度
}

Go轻松进阶系列 更多文章

点击下方关注我的公众号

eb4027436d8e831cb7419d6b73e1130f.png

0758b0056948c7c14fd98a3bb3a14c3d.gif

PHP vs Go:主流框架性能实测与选型指南 在高并发业务场景下,后端框架的性能差异直接影响系统吞吐与用户体验。PHP与Go作为两类主流技术栈,各自拥有庞大的生态与适用场景。PHP凭借快速开发与成熟框架(如Laravel、ThinkPHP)在业务迭代中占据优势,而Go依托goroutine并发模型与静态编译特性,在压力测试中展现出低延迟与高吞吐能力。框架性能比较并非简单的语言之争,而是涉及PHP-FPM进程模型、Go运行时调度、数据库连接池、缓存策略等多层因素。合理的性能基准测试与成本测算,能够帮助技术团队从实际业务需求出发,在开发效率与运行性能之间找 阅读详情

相关推荐

Golang领域内存泄漏与资源管理

随着微服务架构与云原生技术的普及,Golang凭借高效的并发模型和简洁的语法成为后端开发首选语言。然而在长时间运行的高并发系统中,内存泄漏与资源管理不当会导致服务性能下降、响应延迟甚至崩溃。本文聚焦Go语言内存管理机制,深入解析泄漏产生的根本原因,提供从理论分析到工程实践的完整解决方案,适用于所有Go语言开发者优化服务性能。核心概念:解析Go内存架构与GC机制泄漏场景:分类阐述四大典型泄漏模式检测工具:掌握pprof/trace等官方调试工具实战案例:完整演示泄漏定位与修复过程。

AI Agent Harness Engineering 939

Go内核源码剖析 一 程序执行启动过程

go内核源码剖析 一这篇是看雨痕大佬的书所做练习的笔记,(其实后面部分基本都是抄的,但是都实践了) 由于电脑抽风,使用的是win10的Linux子系统,功能不完善,很多跟踪支持性不好(可以算是抄的原因)。 要想看内核源码剖析的可以到雨痕大神的github。 1.新建hello.go编译得到hello 2.gdb调试,输入 gdb hello 命令行得到:((gdb) 后都表示输入的)

Ten Years 3342

YonBIP 3.0 报表开发+报表超链接

用友报表开发

m0_55096250的博客 1774

一篇文章讲清Go的内存布局和分配原理

Go内存分配Go 之所以在高并发环境下表现优异,除了咱们都知道的GMP模型,其实Go的内存布局和分配机制也起到了不少作用。今天邀请到公众号「Go编程时光」的号主大佬明哥,给大家盘一盘 Go...

kevin_tech的博客,微信搜「网管叨bi叨」 1427

高通Camera IFE时钟配置

高通Camera IFE时钟配置中的minHorizontalBlanking和minVerticalBlanking配置计算方法

一个懒癌的驱动工程师的随笔分享 6172

【Lane】 Ultra-Fast-Lane-Detection 复现

引言 车道线检测源码复现以及训练自己的数据集 1 环境搭建 conda create -n lane python=3.7 conda activate lane # 激活环境 conda install pytorch torchvision cudatoolkit=10.1 -c pytorch pip install -r requirements.txt 2 下载项目源码 若在服务器上可以用指令下载,否则直接在网址中下载 git clone https://github.com/cfzd/U

qq_44703886的博客 2万+

go 的内存布局和分配原理

根据内存管理(分配和回收)方式的不同,可以将内存分为 堆内存 和 栈内存。那么他们有什么区别呢?堆内存:由内存分配器和垃圾收集器负责回收栈内存:由编译器自动进行分配和释放一个程序运行过程中,也许会有多个栈内存,但肯定只会有一个堆内存。每个栈内存都是由线程或者协程独立占有,因此从栈中分配内存不需要加锁,并且栈内存在函数结束后会自动回收,性能相对堆内存要好。而堆内存呢?

ldxxxxll的博客 1491

嵌入式STM32控制电梯面板

嵌入式STM32控制电梯面板 用点阵来显示电梯向上还是向下运动,用数码管来显示楼层数(由于灯阵显示楼层数比较困难故用数码管代替)。当按下对应的按钮,就可以去到对应层数,可上升可下降。 #include "stm32f10x.h" #include "stm32f10x_exti.h" #include "stm32f10x_it.h" #define uint unsigned int #define KEY1 GPIO_ReadInputDataBit(GPIOA,GPIO_Pin_10) #define

code_init_的博客 2112

Go的GMP模型真的“简单”

本文基于64位平台、1Page=8KB、Go1.19 今天开始《Go语言轻松进阶》系列第四章「Goroutine的调度」。完整地址https://tigerb.cn/go/#/kernal前言关于GMP模型网上已经有很多文章,讲的内容大多都是如下图的逻辑,本系列不再赘述。本系列换个视角,核心搞清楚两个问题:GMP到底是什么?goroutine如何恢复和保存上下文的?正文开始。GMP只是结...

TIGERB的技术博客 1076

IP2315高效同步降压充电IC在快充应用中的硬件与软件控制策略

本文深入解析IP2315高效同步降压充电IC在快充应用中的硬件与软件控制策略,涵盖其核心特性、硬件电阻调节技巧、I2C动态控制方案、散热设计优化及典型问题排查。IP2315支持多种快充协议,如Type-C PD、华为FCP等,适用于便携设备快速充电需求,并通过I2C实现灵活的充电参数设置,提升充电效率与安全性。

weixin_29248313的博客 541

基于Simulink实现电动汽车制动能量回收系统的仿真

通过上述步骤,我们成功实现了基于Simulink的电动汽车制动能量回收系统的仿真研究。该系统能够全面评估制动能量回收系统的性能,验证控制策略的有效性,并通过优化设计提高能量回收效率和制动安全性。引入智能预测:结合人工智能技术,实现更智能的能量回收控制策略。扩展功能:增加对多种车型和制动场景的支持,提升系统通用性。实验验证:将仿真模型应用于实际硬件,进行实验验证,评估其在实际工况下的表现。

xiaoheshang_123的博客 336

golang学习笔记(内存模型和分配机制)

(0, 16B) 且不包含指针的对象: Tiny分配(0, 16B) 包含指针的对象: 正常分配[16B, 32KB] : 正常分配(32KB, -) : 大对象分配其中Tiny分配和大对象分配都属于内存管理的优化范畴, 这里暂时仅关注一般的分配方法。获取当前线程的私有缓存mcache跟据size计算出适合的class的ID从mcache的alloc[class]链表中查询可用的span如果mcache没有可用的span则从mcentral申请一个新的span加入mcache中。

m0_46198325的博客 2755

SIWAVE+ADS提取PCB走线寄生参数

本文将介绍一种很适合PCB走线提取寄生电感等参数的方法,即是通过SIWAVE将PCB走线的S参数提取出来,再通过ADS将S参数转换成电感、电容值。

sinat_15150363的博客 1766

golang内存分配与管理

概述 ​ golang的内存分配机制源自Google的tcmalloc算法,英文全称thread caching malloc,从名字可以看出,是在原有基础上,针对多核多线程的内存管理进行优化而提出来的。该算法的核心思想是内存的多级管理,进而降低锁的粒度;将内存按需划成大小不一的块,减少内存的碎片化。为每个P,也就是go协程调度模型了里面的逻辑处理器维护一个mcache结构体的独立内存池,只有当该内存池不足时,才会向全局mcentral和mheap结构体管理的内存池申请。为每一个P维持一个私有的本地内存池,

hust_joker的博客 2238

城市仿真软件:AnyLogic_(8).行人与人群动态仿真

定义行人个体的行为和属性,如行走速度、目标位置等。// 创建一个行人// 设置行走速度为1.5 m/s// 设置目标位置为入口// 创建另一个行人// 设置行走速度为1.2 m/s// 设置目标位置为出口// 创建行人// 创建乘客行人与人群动态仿真在城市规划、交通管理和紧急疏散等领域具有广泛的应用。通过AnyLogic提供的行人模型模块,可以有效地模拟行人的个体行为、群体动态和与环境的交互。

kkchenjj的博客 1251

visio安装包

Microsoft Office Visio 是一款专业的制图软件。利用经过更新的形状、协作工具和数据链接图表,创建专业级图表以简化复杂的信息。

深入解析S12S内存架构与BDM调试:从原理到汽车电子实战

在嵌入式系统开发中,内存架构与调试接口是底层硬件交互的核心基础。内存架构定义了CPU访问存储资源的映射规则与寻址方式,是进行高效内存管理、链接脚本定制以及实现复杂功能(如双Bank在线升级)的前提。而调试接口则是开发者与芯片进行深度交互、实现实时监控与故障诊断的关键通道。其技术价值在于能够穿透应用层抽象,直接操控硬件资源,对于分析偶发性死机、动态修补代码以及生产线自动化测试至关重要。在汽车电子、工业控制等对实时性与可靠性要求严苛的应用场景中,深入理解如NXP S12系列微控制器的内存分页机制与背景调试模式(

weixin_30745553的博客 396

温度PID控制PLC程序

温度PID稳定控制程序,适用于欧姆龙PLC,对其他PLC也具有很大参考价值

Go-MySQL-Driver内存分析:识别和修复内存问题

在Go语言数据库开发中,内存问题(Memory Issue)往往是最隐蔽且影响较大的问题之一。Go-MySQL-Driver作为Go生态中最流行的MySQL驱动之一,其内存管理机制直接影响着应用程序的性能和稳定性。本文将深入分析Go-MySQL-Driver的内存管理机制,识别常见的内存问题场景,并提供实用的诊断和修复方案。 ## Go-MySQL-Driver内存架构解析 ### 核心数据结...

gitblog_00900的博客 647

STM32F407中文手册

STM32f407中文手册 本参考手册面向应用开发人员,提供有关使用 STM32F405xx/07xx、STM32F415xx/17xx、 STM32F42xxx 和 STM32F43xxx 微控制器存储器与外设的完整信息。STM32F405xx/07xx、STM32F415xx/17xx、STM32F42xxx 和 STM32F43xxx 构成一个微 控制器系列,各产品具有不同的存储器大小、封装和外设。有关订购信息以及器件的机械与电气特性,请参见数据手册。有关 ARM Cortex™-M4F 内核的信息,请参见《Cortex™-M4F 技术参考手册》。

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

当 Go 遇上 GPU:用 CUDA 释放千倍算力的实战指南

如果你正在处理大规模数据,不妨尝试将计算任务卸载给 GPU,你会发现,那个熟悉的蓝色 Gopher,也能拥有令人惊叹的爆发力。他展示了如何通过 Go 和 CUDA 的结合,让 Gopher 也能轻松驾驭 GPU 的海量核心,实现惊人的并行计算能力。虽然 CPU 拥有极低的延迟、卓越的分支预测能力和巨大的缓存,但它的核心数量(通常在几十个量级)限制了其处理大规模并行任务的能力。每个线程都有自己的 ID,负责处理数据的一小部分(例如图像中的一个像素,或矩阵中的一个元素)。块 (Block):一组线程的集合。

TonyBai 736

Go 语言学习之 reflect

reflect

As_wind_的博客 506

GoClaw架构概览:一文读懂AI代理网关的核心组件

GoClaw是OpenClaw的Go语言重构版本,作为一款强大的AI代理网关,它具备多租户隔离、5层安全防护和原生并发能力,能够帮助用户安全高效地大规模部署AI代理团队。本文将深入剖析GoClaw的核心架构组件,带您全面了解这款AI代理网关的工作原理和优势。 ## 1. 三层内存架构:高效数据处理的核心 GoClaw的三层内存架构是其高效数据处理的核心,它能够智能地管理和利用不同类型的内存,为

gitblog_00024的博客 1091

Go新垃圾回收器登场:Green Tea GC如何通过内存感知显著降低CPU开销?

最重要的是,你可以随时向我提问,获得第一时间的深度解答,并与众多优秀的 Gopher 一起碰撞思想,共同精进!这样,当这个 Span 最终被取出处理时,它内部可能积累了多个待扫描对象,使得一次 Span 扫描能够处理更多邻近的对象,从而。利用 Span (8KiB 对齐) 的特性,通过简单的地址运算即可定位 Span 内对象的元数据(灰/黑标记位),避免了耗时的间接寻址和依赖加载。的新方法,显著改善 GC 过程中的内存访问模式,降低 CPU 开销,尤其是在多核和 NUMA 架构下。大对象仍使用旧算法。

TonyBai 1185

Go-MySQL-Driver内存优化:减少内存使用的实用技巧

在微服务架构和云原生应用中,数据库连接驱动往往是内存消耗的重要来源。当你的Go应用需要处理数千个并发MySQL连接时,内存使用可能成为性能瓶颈。Go-MySQL-Driver虽然已经做了很多优化,但在特定场景下仍可能产生不必要的内存分配。 读完本文,你将掌握: - ???? Go-MySQL-Driver内部内存管理机制 - ????️ 5大核心内存优化技巧 - ???? 内存使用对比测试数据 - ???? 生...

gitblog_00490的博客 997

Go-MySQL-Driver内存优化:减少GC压力的最佳实践

在高并发、高性能的Go应用场景中,数据库驱动的内存使用效率直接影响着应用的性能和稳定性。Go-MySQL-Driver作为Go语言中最流行的MySQL驱动之一,其内存管理策略对减少GC(Garbage Collection,垃圾回收)压力至关重要。当应用频繁创建和销毁数据库连接、执行大量查询时,不当的内存分配模式会导致频繁的GC暂停,严重影响应用响应时间。 本文将深入分析Go-MySQL-Dri...

gitblog_00356的博客 977

Erlang与java的内存架构比较

我读了一篇非常非常有趣的文章(JesperWilhelmsson的一篇论文),是关于Erlang虚拟机(Erlang VM)内存管理策略的。我相信对比一下Erlang和java的虚拟机内存管理策略,一定很有意思。        先给从来没有听说过Erlang的同学做个简短的介绍。Erlang是一门函数语言,通过异步消息传递(asynchronous message passing)来处理

shishiqiushia的专栏 3300

goja 内存管理:垃圾回收和性能优化的内部机制

goja 是一个用纯 Go 实现的 ECMAScript 5.1(+) 引擎,其内存管理和垃圾回收机制对于性能优化至关重要。了解 goja 的内存管理内部机制可以帮助开发者编写更高效的 JavaScript 代码,避免内存泄漏问题。 ## goja 内存管理架构解析 goja 的内存管理主要基于 Go 语言的垃圾回收器,但针对 JavaScript 运行时进行了特殊优化。在 [runtime.

gitblog_00652的博客 1051

validator内存分析:内存使用情况的监控

在现代Go语言应用中,内存使用效率直接影响着应用的性能和稳定性。validator作为Go生态中最流行的结构体验证库,其内存使用模式对整体应用性能有着重要影响。本文将深入分析validator的内存使用机制,并提供实用的监控和优化策略。 ## validator内存架构解析 ### 核心数据结构内存分布 validator的内存使用主要集中在以下几个核心组件: ```mermaid cla...

gitblog_00225的博客 713
上一篇: 浅析Go内存管理架构
下一篇: 9张图轻松吃透Go内存管理单元
TIGERB_Blog
博客等级 码龄10年 109粉丝 65原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值