golang源码阅读：VictoriaMetrics中协程优先级的处理方式

最新推荐文章于 2025-01-24 15:30:18 发布

原创

最新推荐文章于 2025-01-24 15:30:18 发布 · 496 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#golang #开发语言 #后端

这篇博客主要分析了VictoriaMetrics如何处理协程优先级，特别是在数据写入（insert）和查询（select）操作中。它指出写入操作的优先级高于查询，并通过设置不同数量的计算协程来实现这一策略。计算协程数等于CPU核心数，用于insert操作，而查询协程数是核心数的两倍。当insert操作受阻时，会通过原子计数和条件变量通知select协程让出CPU资源，确保写入操作的顺利进行。

Python微信订餐小程序课程视频

https://edu.youkuaiyun.com/course/detail/36074

Python实战量化交易理财系统

https://edu.youkuaiyun.com/course/detail/35475
在阅读VictoriaMetrics的源码的时候，读到了那么平平无奇的一段：

// AddRows adds the given mrs to s.
func (s *Storage) AddRows(mrs []MetricRow, precisionBits uint8) error {
	if len(mrs) == 0 {
		return nil
	}

	// Limit the number of concurrent goroutines that may add rows to the storage.
	// This should prevent from out of memory errors and CPU trashing when too many
	// goroutines call AddRows.
	select {
	case addRowsConcurrencyCh <- struct{}{}:
	default:
		// Sleep for a while until giving up
		atomic.AddUint64(&s.addRowsConcurrencyLimitReached, 1)
		t := timerpool.Get(addRowsTimeout)

		// Prioritize data ingestion over concurrent searches.
		storagepacelimiter.Search.Inc()

		select {
		case addRowsConcurrencyCh <- struct{}{}:
			timerpool.Put(t)
			storagepacelimiter.Search.Dec()
		case <-t.C:
			timerpool.Put(t)
			storagepacelimiter.Search.Dec()
			atomic.AddUint64(&s.addRowsConcurrencyLimitTimeout, 1)
			atomic.AddUint64(&s.addRowsConcurrencyDroppedRows, uint64(len(mrs)))
			return fmt.Errorf("cannot add %d rows to storage in %s, since it is overloaded with %d concurrent writers; add more CPUs or reduce load",
				len(mrs), addRowsTimeout, cap(addRowsConcurrencyCh))
		}
	}

仔细看了以后，真是不得了。这感觉就像——