Golang sync.Pool详解

Golang 内存管理:sync.Pool 底层实现详解 本文旨在深入解析 Golang 标准库中 sync.Pool 的内部实现机制,帮助开发者理解其工作原理,掌握最佳实践,并避免常见的使用误区。文章将覆盖从基础概念到高级优化的全方位内容。文章将从 sync.Pool 的基本概念入手,逐步深入其底层实现,分析核心算法和数据结构,并通过实际案例展示其应用场景和优化技巧。sync.Pool: Golang 标准库提供的临时对象池,用于缓存和复用临时对象: 垃圾回收,自动内存管理机制: Goroutine 调度器中的逻辑处理器sync.Pool。 阅读详情

Golang中sync.Pool用来提高对象复用几率,减少gc的压力,减少内存分配,它是线程安全的,常用来存储并复用临时对象。

原理

为了减小并发中锁的竞争,sync.pool为每个P(对象cpu线程)分配一个子池子poolLocal,每个poolLocal有private对象和shared共享列表对象,private对象只有对应的P可访问,无需加锁, shared共享列表对象可被其它P共享,需要加锁。

 

Pool结构体

type Pool struct {
	noCopy noCopy   //该对象不能被copy使用

	local     unsafe.Pointer // [p]poolLocal,固定长度
	localSize uintptr        //本地缓冲池poolLocal的数量

	New func() interface{}  //用户自定义的用于生成对象的方法
}

 

Get函数

作用:从Pool中获取一个对象,如果获取不到并且New函数不为空,则通过New创建一个对象并返回。否则返回nil

func (p *Pool) Get() interface{} {
	if race.Enabled {
		race.Disable()
	}
	//获取当前线程的poolLocal
	l := p.pin()
	//如果private对象不为空则直接返回,并将其置为nil
	x := l.private
	l.private = nil
	runtime_procUnpin()
	if x == nil {
	    //private不存在则加锁从shared列表中拿
		l.Lock()
		last := len(l.shared) - 1
		if last >= 0 {
			x = l.shared[last]
			l.shared = l.shared[:last]
		}
		l.Unlock()
		//如果shared对象列表依然没有的话,则从其它P的poolLocal获取
		if x == nil {
			x = p.getSlow()
		}
	}
	if race.Enabled {
		race.Enable()
		if x != nil {
			race.Acquire(poolRaceAddr(x))
		}
	}
	// 如果存在New func回调函数,则执行
	if x == nil && p.New != nil {
		x = p.New()
	}
	return x
}

 

Put()函数

作用:将对象x放入到Pool中,以便复用该对象

func (p *Pool) Put(x interface{}) {
	if x == nil {
		return
	}
	if race.Enabled {
		if fastrand()%4 == 0 {
			// Randomly drop x on floor.
			return
		}
		race.ReleaseMerge(poolRaceAddr(x))
		race.Disable()
	}
	//如果当前poolLocal的private对象为nil,则直接赋值
	l := p.pin()
	if l.private == nil {
		l.private = x
		x = nil
	}
	runtime_procUnpin()
	//否则加到当前poolLocal的shared列表中
	if x != nil {
		l.Lock()
		l.shared = append(l.shared, x)
		l.Unlock()
	}
	if race.Enabled {
		race.Enable()
	}
}

 

poolCleanup回收对象

sync.Pool会在gc时回收pool中的对象

func init() {
    runtime_registerPoolCleanup(poolCleanup)
}

func indexLocal(l unsafe.Pointer, i int) *poolLocal {
    lp := unsafe.Pointer(uintptr(l) + uintptr(i)*unsafe.Sizeof(poolLocal{}))
    return (*poolLocal)(lp)
}

// Implemented in runtime.
func runtime_registerPoolCleanup(cleanup func())
func runtime_procPin() int
func runtime_procUnpin()

func poolCleanup() {
    // This function is called with the world stopped, at the beginning of a garbage collection.
    // It must not allocate and probably should not call any runtime functions.
    // Defensively zero out everything, 2 reasons:
    // 1. To prevent false retention of whole Pools.
    // 2. If GC happens while a goroutine works with l.shared in Put/Get,
    //    it will retain whole Pool. So next cycle memory consumption would be doubled.
    for i, p := range allPools {
        allPools[i] = nil
        for i := 0; i < int(p.localSize); i++ {
            l := indexLocal(p.local, i)
            l.private = nil
            for j := range l.shared {
                l.shared[j] = nil
            }
            l.shared = nil
        }
        p.local = nil
        p.localSize = 0
    }
    allPools = []*Pool{}
}

 

 

感谢:http://www.mckee.cn/golang/pkg/syncpool

https://segmentfault.com/a/1190000019973632?utm_source=tag-newest

保姆级教程:在Ubuntu 20.04上搞定PX4飞控与T265的视觉定位(附避坑指南) 本文提供在Ubuntu 20.04上配置PX4飞控与T265视觉定位系统的详细教程,涵盖驱动安装、ROS与MAVROS桥接、PX4参数调优及故障排查。通过实测验证的步骤和避坑指南,帮助开发者实现厘米级精度的视觉定位,特别适合室内无人机应用。 阅读详情

相关推荐

微信小程序-如何根据缩放屏幕大小自适应icon图标更改marker

微信小程序如何根据用户的缩放屏幕来改变marker图标icon的大小,实现icon自适应屏幕缩放的效果

Bartender_VA11的博客 3986

深入Golang之sync.Pool详解

通过以上的解读,我们可以看到,Get方法并不会对获取到的对象值做任何的保证,因为放入本地池中的值有可能会在任何时候被删除,但是不通知调用者。放入共享池中的值有可能被其他的goroutine偷走。所以对象池比较适合用来存储一些临时切状态无关的数据,但是不适合用来存储数据库连接的实例,因为存入对象池重的值有可能会在垃圾回收时被删除掉,这违反了数据库连接池建立的初衷。根据上面的说法,Golang的对象池严格意义上来说是一个临时的对象池,适用于储存一些会在goroutine间分享的临时对象。

金戈鐡馬 1281

生信人的一天~HIFI数据+HIC数据组装基因组

HIFI+HIC数据组装基因组!

qq_43337286的博客 9532

Go语言中的sync.Pool详解:高效对象复用

在Go语言的并发编程中,sync.Pool是一个强大的工具,它帮助开发者高效地复用临时对象,减少内存分配和垃圾回收的压力。本文将详细介绍sync.Pool的工作原理、特性、基本用法以及适用场景。

蜗牛沐雨 681

AI工程化之生成式UI & A2UI(一)

本文系统介绍了生成式UI和Google A2UI技术。生成式UI通过AI直接生成前端代码(完全生成式)或DSL(混合式),实现千人千面的动态界面和研发提效。Google A2UI提出组件级和消息级协议,采用JSON规范实现渲染框架解耦,支持多端渲染。文章详细阐述了A2UI的架构设计,包括协议生成、服务端处理和渲染器实现,并对比了与传统前端框架的差异,指出A2UI本质是UI=F(AI(UI)+AI(state))的创新模式。最后通过playground项目展示了A2UI的实践应用。

qq_34306228的博客 593

附录B:Standard Delay Format(SDF)(上)

本附录将介绍标准延迟标注格式,并说明了如何在仿真中执行反标。 延迟格式描述了设计网表的单元延迟和互连走线延迟,无论设计是用两种主要硬件描述语言(VHDL或Verilog HDL)中的哪一种所描述的。 本章还会介绍仿真的反标(backannotation),STA的反标其实是一个简单直接的过程,其中DUA中的时序弧将由SDF所指定的延迟进行标注。

To the beyond and infinity! 5414

你真的了解go中的pool吗?

虽然 Go 是一门并发编程语言,但是在实际开发中,我们还是需要考虑并发安全问题。Go 是一个自动垃圾回收的语言,使用 Go 语言创建对象时,不需要手动释放内存。但是在并发编程中,我们需要考虑对象的复用问题。如果我们在并发编程中频繁的创建对象,那么就会频繁的触发垃圾回收,这样会影响程序的性能。而且,Go 的垃圾回收机制还有一个问题,STW(stop-the-world,程序暂停),就是在垃圾回收的时候,会阻塞所有的 goroutine。这样会影响程序的性能。

weixin_39801169的博客 1728

YOLOv5改进之---EIoU,SIoU,AlphaIoU,FocalEIoU,Wise-IoU

本文主要针对yolov5的iou损失函数进行改进,主要涵盖EIoU,SIoU,AlphaIoU,FocalEIoU,Wise-IoU这几种损失

qq_41920323的博客 1467

Golang学习篇——对象池sync.Pool

1. 什么是sync.Pool? Go 1.3 的sync包中加入一个新特性:Pool,官方文档。 简单的说:它就是一个临时对象池,这个类设计的目的是用来保存和复用临时对象,以减少内存分配,降低CG压力。 2. 为什么需要sync.Pool? 增加临时对象的重用率,减少内存分配,减少GC负担,goroutine对象越多GC越慢,因为Golang进行三色标记回收的时候,要标记的也越多,自然就慢。 3.sync.Pool使用 思路:搞一个池子,预先放入临时产生的对象,然后取出使用 官方fmt包就.

Map的博客 2027

Vue2 - 最新详细实现网站内部打开预览 office 全套附件,在页面弹窗内解析预览 word文档、excel电子表格、ppt演示文稿(docx|xlsx|pptx|pdf|txt等文件)详细代码

vue2,nuxt2,office,文档,文件,查看预览,弹框预览,下载预览,如何预览pdf文档,打开查看,office全套文档,实现在线预览文件,小程序内预览word文件,手机h5移动端网页,nuxt文档在线预览,预览office最好用的插件,下载查看,Office在线预览,vue-office,vue如何使用vue-office教程示例,word文档,ppt,exce表格,预览电子文件,文档无法解析,打不开,报错,失效,保存下载,vue前端预览并下载doc、xls、pdf、txt及图片,vue2中预览p

🏆 前端领域优质创作者 1万+

杰理AC695N系列芯片红外遥控按键使用教程

本文介绍了杰理AC695N芯片红外按键功能的配置和使用方法。主要内容包括:硬件连接说明(红外接收头接线至GPIO口)、软件配置(使能红外功能并设置接收引脚)、按键映射表修改(原始键值到逻辑按键的转换)以及按键扫描参数调整(消抖、长按时间等)。重点展示了三级映射机制,指导如何根据实际遥控器键值修改映射关系,实现不同模式下(蓝牙/音乐/FM)的自定义按键功能。最后提供了调试方法,可通过串口打印查看遥控器原始键值。

qq_42014563的博客 1464

由浅入深聊聊Golang的sync.Pool

在下一个周期到来前,victim 中的缓存对象可能会被偷取,在 Put 操作后又重新回到 local 中,这个过程发生在从其他 P 的 shared 队列中偷取不到、以及 New 一个新对象之前,进而是在牺牲了 New 新对象的速度的情况下换取的;这样,当其他线程想要读取 1 号索引时,发生 cache miss,还得重新再加载,对性能有损。而 sync.Pool 可以将暂时不用的对象缓存起来,待下次需要的时候直接使用,不用再次经过内存分配,复用对象的内存,减轻 GC 的压力,提升系统的性能。

dz45693的专栏 784

我用C#实现上位机数据一键导出Excel:从乱码到百万行数据秒级导出的实战技巧

ExcelWorksheet worksheet = package.Workbook.Worksheets.Add("日报表");// 1. 标题(合并单元格)worksheet.Cells["A1"].Value = $"产线日报表 -DateTimeNowToString// 2. 表头和数据(同上)worksheet.Cells["A3"].Value = "时间";// ...省略表头和数据填充// 3. 合计行(公式计算)

这里只有干货:从 Modbus 通信到 MES 对接,从 YOLO 训练到工控机部署,带你搞定工业软件开发全流程。 714

Golang怎么理解Go的sync.Pool底层_Golang如何理解Pool的本地缓存和GC清理机制【详解】

bytes.Buffer 复用后不 Reset() → 上次写入内容还在,WriteString() 会追加而非覆盖,输出错乱结构体里有 map[string]int 字段,没清空 → 下次使用时 key 冲突、计数异常,甚至 panic切片字段只做 s = s[:0],不置 nil → 底层数组持续占用,阻碍 GC 回收大内存块推荐统一提供 Reset() 方法,例如:func (b *Buffer) Reset() { b.data = b.data[:0] }哪些场景真能省内存,哪些反而拖慢性能?

2301_81527952的博客 197

Data-Structures-and-Algorithm-Analysis-in-Java.pdf

作者: Weiss, Mark A. 出版社: Addison Wesley Data Structures and Algorithm Analysis in Java is an “advanced algorithms” book that fits between traditional CS2 and Algorithms Analysis courses. In the old ACM Curriculum Guidelines, this course was known as CS7. This text is for readers who want to learn good programming and algorithm analysis skills simultaneously so that they can develop such programs with the maximum amo...

华为的C语言编程规范.pdf

华为技术有限公司内部技术规范。本规范制定了编写C语言程序的基本原则、规则和建议。从代码的清晰、简洁、可测试、安全、程序效率、可移植各个方面对C语言编程作出了具体指导。

Go高效复用对象:sync.Pool详解

Go 语言中的 sync.Pool 是一个用于缓存临时对象的工具,能有效减少内存分配和垃圾回收压力。它通过 New 函数创建新对象,Get 获取缓存对象(可能复用旧对象),Put 放回使用完毕的对象。适用于频繁创建/销毁临时对象的场景,如缓冲区、临时结构体等,能显著提升性能。但需注意对象可能被回收或包含脏数据,使用前需要重置。sync.Pool 采用两层缓存机制,线程安全且无容量限制,是高并发场景下优化内存分配的有效方案。

言之。 1万+

lwip-2.0.3

lwip是瑞典计算机科学院(SICS)的Adam Dunkels 开发的一个小型开源的TCP/IP协议栈。实现的重点是在保持TCP协议主要功能的基础上减少对RAM 的占用。

Golang中sync.Pool详解及使用方法

sync.Pool是用来保存可以被重复使用的临时对象,以便在以后的同类操作中可以重复使用,从而避免了反复创建和销毁临时对象带来的消耗以及对GC造成的压力。常用池化技术来提高程序的性能,例如连接池、线程池等。sync.Pool是并发安全的,可以在多个goroutine中并发调用sync.Pool存取对象。在Golang的很多标准库和很多知名的开源库中,都可以看到大量使用sync.Pool的场景。

路多辛的所思所想 1484

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

Go语言 sync.Pool 应用详解

sync.Pool 除了最常见的池化提升性能的思路,最重要的是减少 GC 。 常用于一些对象实例创建昂贵的场景。注意,Pool 是 Goroutine 并发安全的。 一、sync.Pool 适应场景 sync.Pool 本质用途是增加临时对象的重用率,减少 GC 负担; sync.Pool 中保存的元素有如下特征: Pool 池里的元素随时可能释放掉,释放策略完全由 runtime 内部管理; Get 获取到的元素对象可能是刚创建的,也可能是之前创建好 cache 的,使用者无法区分; Pool 池里面的

weixin_38387929的博客 3132
上一篇: go pprof详细理解及使用
下一篇: Linux配置静态ip
思维的深度
博客等级 码龄11年 2万+粉丝 391原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值