Go协程阻塞太长时间会发生什么?

本文探讨了Go协程在遇到系统调用时如何处理,尤其是长时间阻塞的情况。Go的GMP模型中,G是协程,M是工作线程,P是处理器。当协程阻塞超过10ms,系统会通过sysmon监控并重新调度。对于异步系统调用,M会执行其他任务;对于同步调用,会切换到空闲M执行。工作窃取策略确保任务分配。当出现阻塞问题,可以考虑使用如MySQL 8.0的for update nowait来优化。
部署运行你感兴趣的模型镜像

https://www.cnblogs.com/linguanh/p/9510746.html
https://juejin.im/post/6844903846825705485

线程调度由OS全权负责,线程遇到一些系统调用(比如I/O)时,可能阻塞,也可能立即返回。

那么Go协程如果阻塞太长时间,会发生什么?

本文简单讲讲Go的GMP调度模型以及一个特殊场景。

GMP各自的角色

  • G (Goroutine),协程,每次代码中使用 go 关键词时候都会创建的对象
  • M (Work Thread),工作线程
  • P (Processor),代表一个处理器(不是物理处理器),又称上下文

GMP之间的基本关系

GMP模型通过任务队列之间的切换与G的上下文恢复实现协程调度。

  • 队列分为两种:全局队列,P自身的工作队列
  • 协程底层通过线程实现,真正做工作的是M,比如M.execute(job),这里的job是从队列(队列里都是G)里取出的任务。
  • 上面提到M取任务,那么M从哪个队列取?答案是:M总是与一个P绑定

小结:GMP模型以任务队列为主体,队列内的对象是G,队列的维护者(上下文切换)是P,执行者是M,队列顺序执行。具体的任务切换策略暂略。

Go协程阻塞太长时间会发生什么?

协程的切换时间片是10ms,也就是说 goroutine 最多执行10ms就会被 M 切换到下一个 G。这个过程,又被称为 中断,挂起

Go协程遇到异步系统调用是怎么做的?

假设M的任务队列里有G1、G2,G1遇到异步系统调用时,M会先执行G2,G1异步返回时,插入回M的任务队列尾部。

Go协程遇到同步系统调用是怎么做的?

假设M的任务队列里有G1、G2,G1遇到同步系统调用时,G1会被调度到另外一个完全空闲的M上执行(如果不存在,则先创建一个新的M),G1同步返回时,插入回M的任务队列尾部。

工作窃取

当一个M的任务队列空闲时,可以从其他M或全局任务队列窃取任务。窃取优先级是:

  • 其他M
  • 全局

扩展

前面说的都是GMP调度,实际上是基于线程的用户层调度。想象以下场景

多机器 * 多进程,都运行一个goroutine,这个协程中间有一个阻塞式操作(select … for update)。
如果A进程拿到mysql的锁,A没有rollback/commit 的情况下,B想拿锁拿不到,在10ms后B的这个协程会被判定为阻塞(由于全局队列与所有M的任务队列里,仅有一个协程任务,这时协程调度就退化为线程调度)。

判定阻塞的原理:

  • go程序启动时会首先创建一个特殊的内核线程 sysmon,用来监控和管理,其内部是一个循环:

  • 记录所有 P 的 G 任务的计数 schedtick,schedtick会在每执行一个G任务后递增

  • 如果检查到 schedtick 一直没有递增,说明这个 P 一直在执行同一个 G 任务,如果超过10ms,就在这个G任务的栈信息里面加一个 tag 标记

  • 然后这个 G 任务在执行的时候,如果遇到非内联函数调用,就会检查一次这个标记,然后中断自己,把自己加到队列末尾,执行下一个G

  • 如果没有遇到非内联函数 调用的话,那就会一直执行这个G任务,直到它自己结束;如果是个死循环,并且 GOMAXPROCS=1 的话。那么一直只会只有一个 P 与一个 M,且队列中的其他 G 不会被执行!

如何优化以上场景?
Mysql 8.0支持select … for update nowait

当A事务没有rollback/commit 的情况下,B事务试图取锁会直接返回错误。伪代码如下:

//业务代码前置的试图取锁
if !util.GetLockFromLooperLocks("LOCK_DATA_LOOPER", "UPDATE_TASK_STATUS_ACCESS", tx) {
	util.LooperLocksCommitOrRollBack(tx, -1)
	time.Sleep(60 * time.Second)
	continue

//取锁的过程
func (util *Util) GetLockFromLooperLocks(loop_name string, lock_name string, tx *sql.Tx) bool {
	if tx == nil {
		tars.TLOG.Error("tx is nil")
		return false
	}
	sql_str := "select * from running_loop_locks where loop_name=? and lock_name=? for update nowait"
	results, err := tx.Query(sql_str, loop_name, lock_name)
	defer results.Close()
	if err != nil {
		tars.TLOG.Error(fmt.Sprintf("loop_name: %s,get lock error: %s", loop_name, err))
		return false
	}
	for results.Next() {
	}
	return true
	}
}

//取锁失败则回滚
func (util *Util) LooperLocksCommitOrRollBack(tx *sql.Tx, ret int) (int, error) {
	if tx == nil {
		return 1, nil
	} else if 0 == ret {
		tx.Commit()
	} else {
		tx.Rollback()
	}
	return 0, nil
}

以上代码利用了mysql8.0 对 select …from … for update进行的扩展——开始支持for update nowait 和for update skip locked

NOWAIT:表示无法获取到锁时直接返回错误,不用等待 innodb_lock_wait_timeout 的时间,再返回报错,这样就减少了线程的阻塞时间。

您可能感兴趣的与本文相关的镜像

ComfyUI

ComfyUI

AI应用
ComfyUI

ComfyUI是一款易于上手的工作流设计工具,具有以下特点:基于工作流节点设计,可视化工作流搭建,快速切换工作流,对显存占用小,速度快,支持多种插件,如ADetailer、Controlnet和AnimateDIFF等

<think>首先,用户的问题是关于Go语言的并发原理,具体包括: - 线程安全原理 - 协程调度机制 - 如何安全地写入int64变量 - 1个Processor执行goroutine死循环的影响 我需要基于系统级指令来构建我的回答: - 所有行内数学表达式使用$...$格式。 - 独立公式使用$$...$$格式并单独成段。 - 使用中文回答。 - 生成相关问题。 - 在回答中引用的段落末尾自然地添加引用标识,如[^1]。 参考提供的引用: - [^1] 讨论了Goroutine的基本概念和优势。 - [^2] 深入解析Goroutines的工作机制和调度器原理。 - [^3] 解释了Goroutine的资源占用和调度优势。 - [^4] 提到抢占式调度避免饥饿。 - [^5] 展示了Goroutine调度示例。 这些引用覆盖了Goroutine的创建、调度、优势、抢占式调度等。用户的问题涉及线程安全、协程调度、安全写入int64,以及死循环影响。我需要整合这些信息。 回答结构: - 清晰、逐步解决问题。 - 确保真实可靠。 - 使用中文。 - 在末尾生成相关问题。 分解用户问题: 1. **线程安全原理**:在Go中,线程安全通常涉及并发访问共享数据。Go使用goroutine和channel来处理并发,但也需要同步原语如互斥锁。 2. **协程调度机制**:Go的调度器是GMP模型Goroutine、Machine、Processor)。调度器管理goroutine的执行。 3. **如何安全地写入int64变量**:对于基本类型如int64,可以使用原子操作或互斥锁来确保安全写入。 4. **1个Processor执行goroutine死循环的影响**:如果只有一个Processor,并且一个goroutine在死循环,它可能阻塞其他goroutine,除非有抢占式调度。 从引用中提取关键点: - [^3]:Goroutine资源占用小,调度高效。 - [^4]:抢占式调度避免长时间占用CPU。 - [^5]:示例展示了调度行为。 构建回答: 1. **引言**:简要介绍Go的并发模型。 2. **线程安全原理**:解释共享数据访问的同步机制。 3. **协程调度机制**:详细描述GMP模型。 4. **安全写入int64**:讨论原子操作。 5. **死循环影响**:分析在单Processor场景下的行为。 6. **生成相关问题**:在末尾添加。 使用数学表达式:用户问题中没有明显的数学内容,但如果有,比如在描述算法时,我会使用$...$或$$...$$。例如,在调度机制中,如果有公式,我会添加。但这里可能不需要,除非涉及计数或概率。 确保LaTeX语法正确:如果没有数学内容,就不需要添加。 添加引用标识:在回答中,当我引用提供的文本时,在末尾添加[^n]。 回答大纲: - 开头:总结Go并发原理。 - 线程安全:解释同步原语,如sync.Mutex。 - 协程调度:描述调度器,基于引用[^2],[^3],[^5]。 - 安全写入int64:使用atomic包。 - 死循环影响:讨论抢占式调度[^4],在单Processor下可能阻塞其他goroutine。 - 结尾:生成相关问题。 生成相关问题:基于回答内容,提出3-5个相关问题,如: 1. Go中如何实现无锁编程? 2. 调度器的抢占策略是什么? 3. 如何检测goroutine泄漏? 4. 在分布式系统中应用Go并发。 最终输出格式: - 回答部分。 - §§相关问题§§部分。</think>### Go语言并发原理详解 在Go语言中,并发模型基于Goroutine(轻量级线程)和调度器机制,确保高效执行和线程安全。我将逐步解析您的查询:线程安全原理、协程调度机制、安全写入int64变量,以及单Processor下死循环的影响。Go的调度器采用GMP模型Goroutine、Machine、Processor),并支持抢占式调度,避免资源饥饿[^3][^4]。 #### 1. 线程安全原理 线程安全指在多Goroutine并发访问共享数据时,确保数据一致性和正确性。Go语言通过以下机制实现: - **同步原语**:使用`sync.Mutex`(互斥锁)或`sync.RWMutex`(读写锁)保护临界区。例如,多个Goroutine访问共享变量时,加锁可防止竞态条件(race condition)。 - **Channel通信**:通过Channel(通道)实现Goroutine间同步消息传递,避免直接共享内存。Channel的发送和接收操作是原子的,适合生产者-消费者模式。 - **原子操作**:对于基本类型(如int64),使用`sync/atomic`包提供原子指令,确保单步操作不可中断。 线程安全的核心是控制共享资源的访问顺序。如果多个Goroutine同时修改同一变量,可能导致数据损坏。例如,两个Goroutine并发写入一个int64变量,可能产生不可预测的结果。Go的运行时检测竞态条件可通过`-race`编译标志启用[^2]。 #### 2. 协程调度机制 Go协程Goroutine)调度器采用GMP模型,由运行时(runtime)管理,实现高效并发: - **Goroutine(G)**:轻量级线程,初始栈仅2KB,支持动态伸缩,创建成本低(通过`go`关键字启动)[^3]。 - **Machine(M)**:操作系统线程,绑定到CPU核心,执行Goroutine代码。 - **Processor(P)**:逻辑处理器,管理本地运行队列(包含待执行的Goroutine)。P的数量由`GOMAXPROCS`设置(默认等于CPU核心数)。 调度过程: 1. **创建与入队**:新Goroutine被放入P的本地队列或全局队列。 2. **执行状态**:P从队列获取Goroutine,由M执行。如果Goroutine阻塞(如I/O操作),P会将其移出,并调度其他Goroutine。 3. **抢占式调度**:Go 1.14+引入基于信号的抢占,防止单个Goroutine长时间占用CPU。例如,函数调用或时间片(约10ms)到期时,调度器强制切换Goroutine,确保公平性[^4][^5]。 4. **负载均衡**:当P的本地队列空时,会从全局队列或其他P偷取Goroutine,优化CPU利用率。 调度器优势包括低上下文切换开销(用户态完成)和高吞吐量。在单Processor场景(`GOMAXPROCS=1`)下,所有Goroutine共享一个运行队列,调度器依赖抢占机制避免饥饿[^5]。 #### 3. 如何安全地写入int64变量 安全写入int64变量需确保操作的原子性,避免并发写入冲突。推荐方法: - **使用原子操作**:`sync/atomic`包提供`StoreInt64`函数,实现无锁写入。例如: ```go import "sync/atomic" var counter int64 func safeWrite(value int64) { atomic.StoreInt64(&counter, value) // 原子写入,线程安全 } ``` 原子操作直接在硬件级别保证写入不可分割,适用于高性能场景。 - **替代方案**:如果涉及复杂逻辑(如先读后写),使用互斥锁: ```go import "sync" var counter int64 var mu sync.Mutex func safeWrite(value int64) { mu.Lock() defer mu.Unlock() counter = value // 加锁保护写入 } ``` 原子操作更高效(无锁),但仅适用于单一操作;互斥锁适用于多步临界区。 在Go中,int64写入默认非原子(32位系统可能分两次写),因此必须显式同步。忽略同步可能导致数据撕裂(tearing)或竞态[^2]。 #### 4. 1个Processor执行goroutine死循环的影响 当系统只有一个Processor(设置`GOMAXPROCS=1`)时,一个Goroutine执行死循环(如无限空循环)会显著影响并发行为: - **阻塞其他Goroutine**:在抢占式调度下,死循环Goroutine会持续占用CPU时间片。调度器每约10ms尝试抢占,但如果循环中无函数调用(如纯计算循环),抢占可能延迟,导致其他Goroutine饥饿(无法执行)。例如,在引用[^5]的示例中,单核下多个Goroutine竞争执行时间。 - **调度器行为**:Go运行时基于协作和信号抢占。死循环中若包含函数调用(如`fmt.Println`),调度器可正常切换;否则,可能需等待时间片到期或系统调用触发抢占[^4]。 - **实际影响**:系统响应变慢(如HTTP服务超时),CPU利用率高但吞吐量低。解决方案包括: - 避免纯计算死循环,添加`runtime.Gosched()`主动让出CPU。 - 确保`GOMAXPROCS`匹配CPU核心数,以利用多核并行。 - 使用Channel或定时器中断循环。 在单Processor场景,死循环暴露了调度器的局限性,但Go的抢占机制在多数情况下能缓解问题[^4][^5]。 ### 总结 Go的并发模型通过Goroutine轻量级线程、GMP调度器和同步原语实现线程安全。安全写入int64需原子操作或锁,而死循环在单Processor下可能导致饥饿,依赖抢占机制平衡资源。理解这些机制有助于设计高并发应用[^1][^3]。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值