1.场景描述
开发环境:
语言: golang1.22
数据库引擎: GORM
数据库: ClickHouse
场景:
当使用sync.WaitGroup并发执行多个gorm相关的goroutine时,报错:err code: 202, message: Too many simultaneous queries. Maximum: 100
2.错误原因
从上面错误中可以看出:
(1).这是因为当前正在进行的查询或插入操作超过了设置的最大并发数限制(在这种情况下是100)。
(2).据插入太频繁,Clickhouse不支持频繁插入操作
这通常发生在高并发情况下,如多个用户同时请求数据,或应用程序在短时间内发送大量请求
3.解决方案
1.减少并发查询
检查代码,看看是否可以通过减少并发查询的数量来解决问题。考虑实现一个排队机制,以确保同时只有一定数量的查询在执行
2.批量处理
如果可能,将多个查询合并为一个批量查询。这可以减少同时请求的数量,从而降低错误发生的概率 .
在执行插入操作时发生该错误: 云数据库ClickHouse是一个多查少写的数据库,使用时应一次批量插入数据,不应该分多次插入。如果多次插入会导致CPU使用率升高,后续操作无法进行,您可以控制在1min插入一次,则可以避免该问题的发生