【golang源码分析】chan底层原理——附带读写用户队列的环形缓冲区

最新推荐文章于 2025-11-01 11:11:37 发布
原创 最新推荐文章于 2025-11-01 11:11:37 发布 · 1.5k 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文详细探讨了Go语言中Channel的工作原理，包括环形缓冲区结构、读写机制及内部数据结构。阐述了有缓冲与无缓冲Channel的区别，以及关键源码分析，帮助读者深入理解Go并发模型。

1 环形缓冲区

1.1 环形缓冲区结构

       环形缓冲区通常有一个读指针和一个写指针。读指针指向环形缓冲区中可读的数据，写指针指向环形缓冲区中可写的缓冲区。通过移动读指针和写指针就可以实现缓冲区的数据读取和写入。在通常情况下，环形缓冲区的读用户仅仅会影响读指针，而写用户仅仅会影响写指针。如果仅仅有一个读用户和一个写用户，那么不需要添加互斥保护机制就可以保证数据的正确性。如果有多个读写用户访问环形缓冲区，那么必须添加互斥保护机制来确保多个用户互斥访问环形缓冲区。

1.2 环形缓冲区一种读写实现机制

一般的，圆形缓冲区需要4个指针

  • 在内存中实际开始位置；

  • 在内存中实际结束位置，也可以用缓冲区长度代替；

  • 存储在缓冲区中的有效数据的开始位置（读指针）；

  • 存储在缓冲区中的有效数据的结尾位置（写指针）。

缓冲区是满、或是空，都有可能出现读指针与写指针指向同一位置：

缓冲区中总是有一个存储单元保持未使用状态。缓冲区最多存入（size-1）个数据。如果读写指针指向同一位置，则缓冲区为空。如果写指针位于读指针的相邻后一个位置，则缓冲区为满。

 

 

 

2 chan内部数据结构

2.1 chan的数据结构

chan实质是个环形缓冲区，外加一个接受者协程队列和一个发送者协程队列

  • buf      ：环形缓冲区
  • sendx ：用于记录buf这个循环链表中的发送的index
  • recvx  ：用于记录buf这个循环链表中接收的index
  • recvq  ：接受者协程队列
  • sendq ：发送者协程队列
  • lock    ：互斥锁

2.2 有缓冲区和无缓冲区chan的区别

2.2.1 无缓冲chan数据同步过程和sudog结构

  1. 创建一个发送者列表和接收者列表都为空的 channel。
  2. 第一个协程向 channel 发送变量的值
  3. channel 从池中获取一个sudog结构体变量，用于表示发送者。sudog 结构体会保持对发送者所在协程的引用，以及发送变量的引用。
  4. 发送者加入sendq队列。<
最低0.47元/天 解锁文章
源码分析 golang bigcache 高性能无 GC 开销的缓存设计实现
andrewbytecoder
10-15 268
BigCache是Go语言实现的高性能内存缓存库，其核心设计通过分片(1024个shard)降低锁竞争，使用环形缓冲区(ringbuffer)存储数据，配合无指针的哈希索引规避GC扫描。采用覆盖写+时间窗口淘汰策略，而非传统LRU/LFU。数据需序列化为[]byte存储，带来编解码开销但避免GC压力。适合大吞吐量场景，需权衡序列化成本与GC优化收益。
Golang编写的环形缓冲区实现
HoUnix的博客
09-24 369
通过使用这个环形缓冲区，你可以高效地管理数据流，并避免内存溢出和数据丢失的问题。希望这个简单的实现能够帮助你更好地理解环形缓冲区的原理和应用。在本文中，我们将使用Golang语言来实现一个简单的环形缓冲区。否则，元素会被写入到写入指针所在位置，并将写入指针移动到下一个位置。首先，我们需要定义一个环形缓冲区的结构体。它包含了一个固定大小的缓冲区和两个指针，分别指向缓冲区的读取位置和写入位置。否则，元素会被读取并将读取指针移动到下一个位置。初始化函数用于创建一个指定大小的环形缓冲区，并将读写指针都初始化为0。
golang-ring:在Golang中实现的简单环形缓冲区类型
05-27
戒指 -导入“ github.com/zealws/golang-ring” 打包环提供了环形缓冲区的简单实现。 用法 var DefaultCapacity int = 10 未初始化的环形缓冲区的DefaultCapacity。 更改此值只会影响更改后创建的环形缓冲区。 环型 type Ring struct { sync. Mutex } 类型Ring实现了循环缓冲区。 Ring结构的默认值是有效的（空）Ring缓冲区，其容量为DefaultCapacify。 功能（*环）容量 func ( r * Ring ) Capacity () int 容量返回环形缓冲区的当前容量。 func（* Ring）ContentSize func ( r * Ring ) ContentSize () int ContentSize返回环形缓冲区内的当前元素数。 func（
【Go语言】深入浅出chan（各种实例场景+分析）
weixin_44938441的博客
12-26 3725
文章目录chan简介问题引入有缓冲通道 chan简介 chan 是go的一个关键字，也就是通道的意思，通道是goroutine之间通信和同步的重要组件，也就是go通过通信来共享内存的猜题 问题引入 先引出一个问题来加深理解： 求1-200每个数的阶乘，要求开启200个goroutine各自执行，并将结果存入同一map中，等全部存入完毕后再遍历 直接定义好map后启动goroutine来操作： var ( maps = make(map[int]int,10) ) func main(){ for
【golang源码总结：chan】
最新发布
qq_43278522的博客
11-01 1824
Go语言Channel源码分析 一、Channel结构概述 hchan结构体是Go语言channel的核心实现，包含： 缓冲区信息（qcount、dataqsiz、buf） 元素信息（elemsize、elemtype） 状态标志（closed、timer） 索引指针（sendx、recvx） 等待队列（recvq、sendq） 互斥锁（lock） 二、Channel构造函数 makechan函数负责channel的内存分配和初始化： 计算所需内存大小（hchan结构体+缓冲区） 根据元素是否包含指针选择不
go chan 设计与实现
rubys_的专栏
01-08 1846
chan底层是hchan结构体。go 语法里面的
chan的底层原理
m0_60464241的博客
07-28 187
chan
【go】chan底层原理
weixin_40660221的博客
02-21 267
golang chan底层原理
986-Golang的chan数据结构
LINZEYU666的博客
02-20 1056
chan数据结构 channel是Golang在语言层面提供的goroutine间的通信方式，比Unix管道更易用也更轻便。channel主要用于进 程内各goroutine间通信，如果需要跨进程通信，建议使用分布式系统的方法来解决。 本章从源码角度分析channel的实现机制，实际上这部分源码非常简单易读。 chan数据结构 从数据结构可以看出channel由队列、类型信息、goroutine等待队列组成，下面分别说明其原理。 环形队列 chan内部实现了一个环形队列作为其缓冲区，队列的长度是创建cha
【面试题】Golang 之Channel底层原理 (第三篇)
abclui的专栏
07-12 1650
在使用 channel 进行 goroutine 之间的通信时，有时候场面会变得十分复杂，以至于写出难以觉察、难以定位的偶现 bug，而且上线的时候往往跑得好好的，直到某一天深夜收到服务挂了、OOM 了之类的告警…… 来梳理一下使用 channel 中常见的三大坑：panic、死锁、内存泄漏，做到防患于未然。
Golang Channel 详细原理和使用技巧
zhoupenghui168的博客
03-04 3207
Golang Channel 详细原理和使用技巧,channel使用原理以及使用方式和注意事项
Golang 深度剖析 -- channel的底层实现
f905699146的博客
10-12 3269
目录: channel 简介 channel 内部结构 创建channel 发送数据 接收数据 关闭channel 总结 channel 简介 Go语言有个很出名的话是“以通信的手段来共享内存”，channel就是其最佳的体现，channel提供一种机制，可以同步两个并发执行的函数，还可以让两个函数通过互相传递特定类型的值来通信。 channel有两种初始化方式，分别是带缓存的和不带缓存的: make(chan int) // 无缓存 chan make(chan int, 10) // 有缓存
ringbuf:Go 的线程安全环形缓冲区实现
07-01
环缓冲 Ringbuf 是 go 语言的 ringbuffer 的简单无锁​​实现。
使用Golang下chan实现一个缓冲池(Pool)
sh_frankie的专栏
07-14 5254
// BytesPool is a pool of byte slice that can ben used type BytesPool struct { pool chan []byte } func NewBytesPool(max int) *BytesPool { return &BytesPool{ pool: make(chan []byte, max), } } /
Golang chan 实现原理
qq_29647593的博客
04-27 1438
源码位于runtime/chan.go下，有兴趣的可以看看源码实现，本块会分为五部分讲解，channel结构，创建channel，发送数据，接受数据，关闭channel。而通过通信就能解决以上问题，channel是一种类似于FIFO队列的数据结构，chan的每次发送和他能保证数据在发送和接受时是按照顺序传输的，channel 中有一个接受阻塞队列，一个是发送阻塞队列，当向一个已经满的channel发送数据会被阻塞，此时就会把发送的。当我们通过make创建一个chan的时候，会调用makechan函数。
golang 面试题（十二）chan缓存池
诸君拔剑吧.
05-14 937
1.下面的迭代会有什么问题？ func (set *threadSafeSet) Iter() <-chan interface{} { ch := make(chan interface{}) go func() { set.RLock() for elem := range set.s { ch <- elem } close(ch) set.RUnlock()
Go的数据结构与实现【Ring Buffer】
ldxxxxll的博客
04-01 1346
data []Tread intwrite int我们定义一个环形缓冲区结构体，其中包含值数组、数组大小，读指针和写指针。同时，它也是并发安全的。
GO chan缓冲通道
wangqiang9x的博客
03-21 559
非缓冲通道的工作方式是读协程在读取chan时，若读取不到会就会阻塞在那里，直到读取到数据为止。写入也是这样如果没有其它协程读取本次的写入，写入协程也同样会阻塞在这里等待。 这种方式明显降低程序运行的效率，如果能写与读互不阻塞是不是就会快很多呢？ 可不可以相互约定一块空间，我把数据放在指定的地方，读取者也去指定的地方读取，这样我把数据放在那里后立刻就可以去做别的事情。 缓冲chan就可以做这件事情，...
Go 语言中的带有缓冲 Channel（Let‘s Go 三十一）
仗剑行于江湖，执笔记江湖事。
10-31 1156
因此，限制信道的长度有利于约束数据提供方的供给速度，供给数据量必须在消费方处理量+信道长度的范围内，才能正常地处理数据。同理，如果缓冲通道中有数据，接收时将不会发生阻塞，直到信道中没有数据可读时，信道将会再度阻塞。这导致有缓冲的信道和无缓冲的信道之间的一个很大的不同：无缓冲的信道保证进行发送和接收的 goroutine 会在同一时间进行数据交换；前几篇文章我们使用 make 创建出来的信道 Channel，并没有传入第二个参数，也就是说，没有传入第二个参数创建的信道 Channel，便是无缓冲信道咯。
golang查询mysql时长
03-16
### Golang 中 MySQL 查询执行时间和性能监控 在 Golang 中查询 MySQL 的执行时间以及进行性能监控是一个常见的需求。以下是关于如何实现这一目标的具体说明。 #### 使用 `context` 控制 Goroutine 生命周期并设置超时 通过 Go 提供的 `context.Context` 接口，可以在发起数据库操作前设定超时时间或其他控制条件。这有助于防止长时间运行的任务阻塞资源[^4]。例如： ```go ctx, cancel := context.WithTimeout(context.Background(), 2*time.Second) defer cancel() // 执行带上下文的 SQL 查询 rows, err := db.QueryContext(ctx, "SELECT * FROM users WHERE id=?", userId) if err != nil { log.Fatalf("Query failed: %v", err) } defer rows.Close() ``` 上述代码片段展示了如何利用 `context.WithTimeout` 方法为查询指定最大允许的时间间隔（此处设为两秒）。如果超过该时限，则会自动终止此操作，并释放相关联的资源。 #### 流式读取优化内存消耗 对于大规模数据集而言，采用流式的读写方式能够显著减少内存压力。这种方式仅需加载部分记录到内存即可完成处理工作，而不是试图一次性载入整个结果集合[^1]。下面是一段示范性的代码： ```go func streamRead(db *sql.DB) error { ctx, cancel := context.WithCancel(context.Background()) defer cancel() rows, err := db.QueryContext(ctx, "SELECT ...") if err != nil { return fmt.Errorf("failed to query data: %w", err) } defer rows.Close() var buffer []MyStruct // 定义缓冲区大小适中的切片用于暂存解析后的结构体实例 for rows.Next() { // 遍历每一行返回的数据项 var record MyStruct if err := rows.Scan(&record.FieldA, &record.FieldB); err != nil { return fmt.Errorf("scan row failed: %w", err) } buffer = append(buffer[:cap(buffer)], record) // 当达到一定数量后立即发送至下游通道继续后续逻辑... if len(buffer)>=batchSize{ sendBatchToChannel(itemChan,bufffer[:len(buffer)]) buffer=buffer[:0] } } return nil } ``` 这里实现了基于批量提交机制的大规模数据提取过程，在每次累积满一批次之后立即将其推送出去以便进一步加工或存储，从而维持较低水平的整体内存占用率。 #### 并发处理提升效率 为了充分利用多核 CPU 架构带来的优势，可以通过启动多个 worker goroutines 来加速任务进度。如下所示的例子中启用了三十个工作协程共同承担起接收来自 channel 的待办事项列表并且独立计算最终成果再反馈回去给调用方[^2]: ```go func startWorker(workerCount int, input chan interface{}, output chan ResultType){ wg:=sync.WaitGroup{} wg.Add(workerCount) for i:=0;i<workerCount;i++{ go func(){ defer wg.Done() for task:=range input{ res:=processTask(task.(SpecificInput)) select{ case output<-res: continue default://考虑背压情况下的限流策略 time.Sleep(time.Millisecond*50) } } }() } go func(){ wg.Wait() close(output) }() } itemChan := make(chan SpecificInput ,initialBufferSize ) resultChan :=make(chan ResultType,capacityForResults ) startWorker(30,itemChan,resultChan) close(itemChan)//关闭输入源通知所有工作者停止作业 for r:= range resultChan{...}//收集汇总各个子线程产生的中间产物直至全部结束为止 ``` 以上程序框架定义了一个简单的生产者-消费者模型，其中 producer 将原始资料放入共享队列里头等待 consumer pickup 处理完毕后再交还成品。值得注意的是还需要额外安排专门负责监听整体活动状况何时彻底完结的人手及时清理现场以免造成死锁现象的发生。 #### 内存泄漏预防措施 最后不得不提到的一点就是有关于潜在存在的goroutine泄露风险问题。由于Go runtime本身并不会主动回收那些处于无限循环状态下的轻量级线程对象因此一旦出现设计缺陷就可能导致严重的后果比如不断增长的工作池数目进而引发 OOM 错误等等严重事故[^3]。为此建议采取以下几种手段加以规避: - **定期采样分析**:借助专业的第三方库如pprof等工具定时抓取当前进程中各组成部分所占比例变化趋势图谱便于快速定位异常波动位置； - **引入外部监督体系**:依靠云计算平台自带的功能模块或者自行开发后台守护进程按照预定频率轮询目标服务器上的关键指标数值绘制曲线图表辅助判断是否存在持续攀升迹象； - **严格遵循最佳实践指南**:始终记得显式声明退出信号确保每一个新开辟出来的分支都能找到回家的道路不至于迷失方向成为孤魂野鬼游荡世间久久无法消散... --- ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值