golang map引发的 【fatal error: concurrent map read and map write】问题解决

最新推荐文章于 2024-08-05 16:42:43 发布
最新推荐文章于 2024-08-05 16:42:43 发布
阅读量3.6k 收藏 1
点赞数 1
CC 4.0 BY-SA版权
分类专栏： golang 文章标签： 线程安全 golang go语言 异常
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/carterslam/article/details/78538468

【问题】我们写的golang程序不定期会抛出fatal error: concurrent map read and map write 的异常

【原因】排查代码，发现是创建session的时候，用到map会引发这个异常，go1.9之前的版本 map都是线程不安全的，在1.9版本之后，引入了sync.Map这种线程安全的map

【解决】把map[interface{}]interface{} 这种声明改为 sync.Map,相关的方法调用也需要修改

【代码】


【ps】在1.9以前的版本这样修改，启动会报错 session\sess_mem.go:23: undefined: sync.Map，不过在1.9版本的环境打包成二进制的文件，可以在较低版本运行

golang中的map并发读写问题： Golang 协程并发使用 Map 的正确姿势
AI天才研究院
09-20 9339
map 不是并发安全的 官方的faq里有说明，考虑到有性能损失，map没有设计成原子操作，在并发读写时会有问题。 Map access is unsafe only when updates are occurring. As long as all goroutines are only reading—looking up elements in the map, including iter...
Golang sync.Map 原理（两个map实现 读写分离、适用读多写少场景）
梦~'
12-05 7489
Golang sync.Map 原理（两个map实现 读写分离、适用读多写少场景）
golang中map并发读写问题及解决方法
热门推荐
skh2015java的博客
03-04 3万+
一、map并发读写问题 如果map由多协程同时读和写就会出现 fatal error:concurrent map read and map write的错误 如下代码很容易就出现map并发读写问题 func main(){ c := make(map[string]int)        go func() {//开一个协程写map             for j := 0; j
fatal error: concurrent map iteration and map write - 关于Go中并发访问Map的操作
u010160146的博客
08-05 808
存在以下需求, 需要服务器统计提交到服务器所有的关键字的次数. 也就说, 服务器将接收到一组关键字数组, 而服务器要将所有的关键字进行累加. 毫无疑问, 若在单线程中进行上述业务, 无需考虑并发问题. 而本次业务要求为: 使用Go中的Map实现, 且不借助数据库软件.使用Map设计过程中, 使用了整体锁与元素锁结合的方式, 可是出现了错误: "fatal error: concurrent map iteration and map write;", 本文将记录解决问题的方法.
golang fatal error: concurrent map read and map write
weixin_30813225的博客
07-14 192
调试程序的时候，为了打印map中的内容 ，直接 使用seelog 的方法打印 map中的内容到日志，结果出现 “concurrent map read and map write”的错误，导致程序异常退出，后来将代码注释后恢复正常。猜想了下是log 打印属于写操作，取出map内容的时候属于读操作，log记录的时候产生lock引发异常。 具体细节就没研究，先mark下。 转载于:htt...
由浅入深聊聊Golang的map
咖啡色的羊驼
10-04 2万+
前言 今日听了大佬们对于map的讲解，结合自己之前的积累，专门来由浅入深的总结一下，希望可以与map之间做一个了断。 文章的深浅顺序是递进的，当你看完这篇文章，你也基本掌握了map的99%的知识点了，可以装逼和吹牛逼了。 正文 1.map的基本使用 1.1声明 & 默认值 // 声明 var m map[string]string map的声明的时候默认值是nil ，此时进行取值，返回的...
【GO】map 实现原理
weixin_73815624的博客
07-29 1225
深入源码学习golang的map结构
go map fatal errorconcurrent map read and map write
m0_67390379的博客
09-06 419
因为map为引用类型，所以即使函数传值调用，参数副本依然指向映射m,所以多个goroutine并发写同一个映射m，写过多线程程序的同学都知道，对于共享变量，资源，并发读写会产生竞争的，故共享资源遭到破坏。time.Sleep(time.Second*20)//让执行main函数的主协成等待20s,不然不会执行上面的并发操作。gofunc(){　　//开100个协程并发写map。gofunc(){//开一个协程读map。func(){//开一个协程写map。如下代码很容易出现map并发写的问题。
golang map 并发冲突 fatal error: concurrent map read and map write
____
02-22 501
golang map并发冲突，报错如下 fatal error: concurrent map read and map write
go并发访问map的坑 fatal error: concurrent map read and map write
小僵尸打字员的博客
06-27 4479
前言 go 并发访问map是不安全的, 会出现未定义的错误导致程序退出…坑总得踩一踩才会知道 例子 先写一个错误的 package main import "fmt" func test() map[string]interface{}{ taskList := []string{"a", "b"} result := make(map[string]interface{}) for _...
golang 报错 fatal error: concurrent map read and map writ
weixin_42094764的博客
09-26 505
错误原因，map是线程不安全的,当有并发读写的时候就会报错 解决办法:使用读写锁sync.RWMutex:
fatal error: concurrent map read and map write
simatongming的博客
01-16 7048
一.问题 map是线程不安全的,即使并发读写没有冲突也会报错(fatal error: concurrent map read and map write): func main() { m := make(map[int]int) go func() { for { _ = m[1] } }() go func() { for { m[2] = 2 }
详解go报错fatal error: concurrent map iteration and map write
空山新雨后，天气晚来秋
12-14 4051
详解go报错fatal error: concurrent map iteration and map write
EasyNVR运行日志报错fatal error: concurrent map read and map write排查
EasyNVR官方技术博客
10-13 320
大家知道我们的产品大多用Go语言编译，Go语言中的 map 在并发情况下，只读是线程安全的，同时读写是线程不安全的。 最近我们在某个项目的EasyNVR现场中，查看日志发现了错误信息：fatal error: concurrent map read and map write。错误信息显示，并发的 map 读和 map 写，也就是说使用了两个并发函数不断地对 map 进行读和写而发生了竞态问题。 查找代码发现代码中使用了并发读写： 这个地方要对该代码进行修改，以下我们替换了内置的map类型，替换成
golang map并发读写问题踩坑记录 `concurrent map read and map write`
Eric's Blog
09-01 2692
PHP和Python写习惯了，压根没想过还会有并发读写的问题。。。 场景 处理kafka队列中的针对同一id的两种信息：“wait”和“done”，每次消费kafka信息打入map，每10分钟遍历一次两个map： 如果同一id同时有“wait”和“done”两种消息，则代表任务完成，将这两条记录删除； 如果“wait”消息发出后20分钟内没有收到“done”信息，则触发降级机制，向队列中打入...
Go错误集锦 -- Map引起的崩溃concurrent map iteration and map write
m0_67391121的博客
03-20 479
今天早上一来领导告诉我消息源出问题了，赶紧检查日志，没有报错，于是跟着看nohup输出，看到一个error导致了程序崩溃，fatal error: concurrent map iteration and map write. 看到这个错误信息，很容易就想到了，可能是在多线程中，同时对map进行了遍历和写操作，导致的崩溃。然后通过对代码进行检查，发现了确实有一处地方，没有对遍历map的操作加锁，导致了这个问题。之前只考虑到了读和写会引发崩溃，直到今天发生崩溃了才发现这个问题。 上一下之前的模拟代码： fun
golang fatal error: all goroutines are asleep - deadlock!
weixin_30622107的博客
02-23 190
fatal error: all goroutines are asleep - deadlock! 这个错误的原因是: 在main goroutine线，期望从管道中获得一个数据，而这个数据必须是其他goroutine线放入管道的 但是其他goroutine线都已经执行完了(all goroutines are asleep)，那么就永远不会有数据放入管道。 所以，m...
docker 部署fatal error: concurrent map writes
最新发布
07-29
<think>我们正在处理一个关于在Docker部署时出现"fatal error: concurrent map writes"错误的问题。根据引用[2]、[3]和[4]，这个错误通常是由于多个goroutine并发地写入同一个map导致的。在Go语言中，map不是并发安全的数据结构，因此当多个goroutine同时写入同一个map时，就会触发这个错误。 解决方案通常包括： 1. 使用`sync.Map`（Go 1.9引入）来代替普通的map，`sync.Map`是并发安全的。 2. 使用互斥锁（如`sync.Mutex`或`sync.RWMutex`）来保护普通的map，确保同一时间只有一个goroutine可以写入。 3. 使用第三方库，如`concurrent-map`，它提供了分片锁的map实现，可以提高并发性能。 根据引用[4]，我们可以通过定义一个结构体来包装map，并在结构体中使用读写锁（`sync.RWMutex`）来保护map的读写操作。这样，在写操作时使用写锁，读操作时使用读锁，从而避免并发写入问题。 另外，引用[3]提到，可以使用`-race`参数来检测并发问题，这有助于在开发阶段发现潜在的竞态条件。 现在，针对用户的问题，我们提供以下解决方案步骤： 步骤1：检查代码中并发写入map的地方 步骤2：根据情况选择使用`sync.Map`或使用互斥锁来保护map 示例代码（使用互斥锁）： 根据引用[4]，我们可以这样实现： ```go type SafeMap struct { sync.RWMutex Map map[string]string } var safeMap *SafeMap func init() { safeMap = &SafeMap{ Map: make(map[string]string), } } // 读操作 func (m *SafeMap) Get(key string) (string, bool) { m.RLock() defer m.RUnlock() value, ok := m.Map[key] return value, ok } // 写操作 func (m *SafeMap) Set(key string, value string) { m.Lock() defer m.Unlock() m.Map[key] = value } ``` 步骤3：在代码中替换原来的map操作，使用这些安全的方法。 步骤4：使用`go run -race`或`go build -race`来检测是否还存在竞态条件。 此外，用户提到是在Docker部署时出现该错误，因此还需要确保在Docker环境中运行的程序与本地测试环境一致，并且没有因为Docker的配置（如CPU限制）导致goroutine调度异常。但通常，这个错误是代码问题，所以重点应放在修复代码上。 如果用户使用的是第三方库，需要检查该库是否支持并发安全，如果不支持，可能需要自己封装或更换库。 最后，如果用户的问题是在运行一个已有的程序（可能是第三方程序），那么可能需要检查该程序的版本，并查看是否有已知的修复该问题的更新版本。 相关问题： 1. 如何检测Go程序中的并发问题？ 2. 除了使用互斥锁，还有哪些方法可以实现并发安全的map？ 3. 在Docker环境中部署Go程序时，有哪些常见的并发问题需要注意？</think>### Docker部署中解决"fatal error: concurrent map writes"错误 这个错误是由于Go程序中多个goroutine同时写入同一个map导致的并发冲突。在Docker环境中，这种问题可能因容器调度机制放大。以下是系统性的解决方案： #### 解决方案步骤 1. **确认并发写入位置** - 使用Go的竞态检测工具定位问题： ```bash go build -race && docker build . -t myapp docker run --rm myapp ``` - 日志中会显示具体发生冲突的代码文件和行号 2. **修复代码并发问题** ```go // 方法1：使用sync.Map（适合读多写少场景） var m sync.Map m.Store("key", "value") // 并发安全写入 // 方法2：使用互斥锁保护标准map type SafeMap struct { sync.RWMutex items map[string]string } func (sm *SafeMap) Set(key, value string) { sm.Lock() defer sm.Unlock() sm.items[key] = value // 受保护的写入操作 } ``` 3. **优化Docker部署配置** ```dockerfile # 在Dockerfile中启用竞态检测 FROM golang:1.xx WORKDIR /app COPY . . RUN go build -race -o myapp CMD ["./myapp"] ``` 4. **第三方库解决方案** - 使用[concurrent-map](https://github.com/orcaman/concurrent-map)库： ```go import cmap "github.com/orcaman/concurrent-map/v2" m := cmap.New[string]() m.Set("key", "value") // 分片锁保护 ``` #### 验证方法 1. 在本地运行竞态检测： ```bash go run -race main.go ``` 2. 在Docker中测试： ```bash docker run -it --cpus=2 myapp # 模拟并发压力 ``` #### 预防措施 1. 在CI/CD流水线中加入竞态检测阶段 2. 对共享资源操作统一使用`sync.atomic`或通道 3. 限制goroutine数量，避免过度并发： ```go sem := make(chan struct{}, runtime.NumCPU()*2) // 并发控制 ``` > **重要提示**：Docker的CPU限制可能改变goroutine调度行为，建议在容器中设置`GOMAXPROCS`环境变量： > ```dockerfile > ENV GOMAXPROCS=2 # 匹配容器分配的CPU数 > ``` [^1]: 容器环境可能放大并发问题，需检查资源分配 [^2]: `sync.Map`适用于读多写少场景，写多时性能较差 [^3]: 分片锁(map sharding)能减少锁竞争 [^4]: 竞态检测是定位问题的关键工具
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值