Go的slice扩容不是全部都按照1.25扩容的,还有内存对齐的概念,别再被忽悠了

本文详细解析了Go语言中切片扩容的源码实现,指出小于1024时按2倍扩容,大于等于1024时并非简单地以1.25倍速度增长。通过实例和源码分析,揭示了实际扩容机制,并探讨了1024这个特殊数字背后的原因。最后,通过实例展示了在特定情况下扩容的计算过程,帮助读者深入理解Go切片扩容的细节。

Go的slice扩容机制-公粽号:堆栈future

扩容

说实话,我看到别的文章中说slice的扩容很简单,小于1024,按照两倍去扩容;大于等于1024,按照1.25去扩容;像这样不负责任的文章误导初学者使我非常不爽,今天就给大家带来源码级别的slice扩容机制,别怕,一切都是那么简单。

1. 先看一个例子(<1024)

package main

import "fmt"

func main() {
 s1 := make([]int, 1023)
 s2 := make([]int, 1)
 s1 = append(s1, s2...)
 fmt.Println(cap(s1), len(s1))
}

输出结果是:
2048 1024

从结果可以看出,小于1024的确实按照2倍去扩容的,我们不妨计作:
f(x) = 2x (x<1024)

大家知道为什么是1024吗?有人问过go作者,说为啥不是2048啊之类的,你猜作者怎么回答,非常简单的一句话:因为在计算机世界中1024这个数字很特别,它就是一个数字,是一个以2为底,10为指数的数,就这样简单。所以有时候大家看源码别纠结细节,一旦陷入就要请求旁边的高人将自己解救出来呀。

2. 再看一个例子(>=1024)

package main

import "fmt"

func main() {
 s1 := make([]int, 1024)
 s2 := make([]int, 258)
 s1 = append(s1, s2...)
 fmt.Println(cap(s1), len(s1))
}

输出结果是:
1696 1282

从结果可以看出,大于等于1024,不是按照1.25(1+1/4)的倍速增长的,所以:
f(x) = x + x/4 (x>=1024)就突然不成立了,这到底是为什么?是不是想要一探究尽呢?接下来剖析源码就知道啦。

3. 两个函数

f(x) = 2x (x<1024)
f(x) = x + x/4 (x >= 1024)

确认:函数1成立,函数2在有些条件下成立 嗯?为什么在有些条件下成立呢?再看一个例子:

package main

import "fmt"

func main() {
 s1 := make([]int, 1024)
 s2 := make([]int, 1)
 s1 = append(s1, s2...)
 fmt.Println(cap(s1), len(s1))
}

输出结果是:
1280 1025

我们可以带函数2去计算下:f(1024) = 1024 + 1024/4 = 1024 + 256 = 1280你看这样的就可以满足函数2了,接下来分析下上面不满足函数2的例子。

4. 源码剖析不满足1.25增速的原因

在源码中主要是看growslice这个函数。

func growslice(et *_type, old slice, cap int) slice {
 ...
 ...
 ... //省略前面无关紧要的代码
 newcap := old.cap
 doublecap := newcap + newcap
 if cap > doublecap {
  newcap = cap
 } else {
  if old.len < 1024 { //小于1024 double就可以
   newcap = doublecap
  } else {
   for 0 < newcap && newcap < cap { // 容量比之前大,那么按照1.25的倍速增长
    newcap += newcap / 4
   }
  }
 }
 ... //省略部分代码
 var lenmem, newlenmem, capmem uintptr
 switch {
  
 ... //省略
 
 case et.size == sys.PtrSize:
  lenmem = uintptr(old.len) * sys.PtrSize
  newlenmem = uintptr(cap) * sys.PtrSize
  // 看这里 核心函数roundupsize 按照内存字节对齐
  capmem = roundupsize(uintptr(newcap) * sys.PtrSize)
  overflow = uintptr(newcap) > maxAlloc/sys.PtrSize
  newcap = int(capmem / sys.PtrSize) //1696
    
 ...//省略部分代码
 
 }
}

好了按照代码流程先走一遍:

  1. 首先我们的长度是大于等于1024的,那么按照上面逻辑先计算得出:f(1024)=1280,发现其实空间还不够,那么继续扩容f(1280)=1280+1280/4=1600

  2. 紧接着进入switch case中,这里的sys.PtrSize=8,而我们的et.size因为是int存储所以也是8,刚好命中这个case,进入。

  3. 然后计算新元素capmem=roundupsize(uintptr(newcap) * sys.PtrSize),则capmem=roundupsize(1600*8)=roundupsize(12800)。

  4. roundupsize函数中size=12800<_MaxSmallSize(32768),并且size<=smallSizeMax(1024)-8不满足,所以最终进入else代码段。

func roundupsize(size uintptr) uintptr {
 if size < _MaxSmallSize {
  if size <= smallSizeMax-8 {
   return uintptr(class_to_size[size_to_class8[divRoundUp(size, smallSizeDiv)]])
  } else {
   // 进入到这里
   return uintptr(class_to_size[size_to_class128[divRoundUp(size-smallSizeMax, largeSizeDiv)]])
  }
 }
 if size+_PageSize < size {
  return size
 }
 return alignUp(size, _PageSize)
}

// divRoundUp returns ceil(n / a).
func divRoundUp(n, a uintptr) uintptr {
 // a is generally a power of two. This will get inlined and
 // the compiler will optimize the division.
 return (n + a - 1) / a
}


  1. 看下class_to_size和size_to_class128
const (
 _MaxSmallSize   = 32768
 smallSizeDiv    = 8
 smallSizeMax    = 1024
 largeSizeDiv    = 128
 _NumSizeClasses = 67
 _PageShift      = 13
)

var class_to_size = [_NumSizeClasses]uint16{
0, 8, 16, 24, 32, 48, 64, 80, 96, 112, 
128, 144, 160, 176, 192, 208, 224, 240, 
256, 288, 320, 352, 384, 416, 448, 480, 
512, 576, 640, 704, 768, 896, 1024, 1152, 
1280, 1408, 1536, 1792, 2048, 2304, 2688, 
3072, 3200, 3456, 4096, 4864, 5376, 6144, 
6528, 6784, 6912, 8192, 9472, 9728, 10240, 
10880, 12288, 13568, 14336, 16384, 18432, 
19072, 20480, 21760, 24576, 27264, 28672, 32768}


var size_to_class128 = [(_MaxSmallSize-smallSizeMax)/largeSizeDiv + 1]uint8{
32, 33, 34, 35, 36, 37, 37, 38, 38, 
39, 39, 40, 40, 40, 41, 41, 41, 42, 
43, 43, 44, 44, 44, 44, 44, 45, 45, 
45, 45, 45, 45, 46, 46, 46, 46, 47, 
47, 47, 47, 47, 47, 48, 48, 48, 49, 
49, 50, 51, 51, 51, 51, 51, 51, 51, 
51, 51, 51, 52, 52, 52, 52, 52, 52, 
52, 52, 52, 52, 53, 53, 54, 54, 54, 
54, 55, 55, 55, 55, 55, 56, 56, 56, 
56, 56, 56, 56, 56, 56, 56, 56, 57, 
57, 57, 57, 57, 57, 57, 57, 57, 57, 
58, 58, 58, 58, 58, 58, 59, 59, 59, 
59, 59, 59, 59, 59, 59, 59, 59, 59, 
59, 59, 59, 59, 60, 60, 60, 60, 60, 
60, 60, 60, 60, 60, 60, 60, 60, 60, 
60, 60, 61, 61, 61, 61, 61, 62, 62, 
62, 62, 62, 62, 62, 62, 62, 62, 62, 
63, 63, 63, 63, 63, 63, 63, 63, 63, 
63, 64, 64, 64, 64, 64, 64, 64, 64, 
64, 64, 64, 64, 64, 64, 64, 64, 64, 
64, 64, 64, 64, 64, 65, 65, 65, 65, 
65, 65, 65, 65, 65, 65, 65, 65, 65, 
65, 65, 65, 65, 65, 65, 65, 65, 66, 
66, 66, 66, 66, 66, 66, 66, 66, 66, 
66, 67, 67, 67, 67, 67, 67, 67, 67, 
67, 67, 67, 67, 67, 67, 67, 67, 67, 
67, 67, 67, 67, 67, 67, 67, 67, 67, 
67, 67, 67, 67, 67, 67}



  1. 通过函数divRoundUp(size-smallSizeMax, largeSizeDiv)计算出:divRoundUp(12800-1024, 128) = divRoundUp(12800-1024, 128) = (12800-1024+128-1) / 128 = 11903/128=92

  2. 我们根据92在size_to_class128中找到是57,然后在class_to_size中根据索引57找到是13568。

  3. 所以roundupsize函数返回13568,而newcap = int(capmem / sys.PtrSize) = 13568/8 = 1696,至此我们就求出来cap的最终容量是1696啦。

  4. 注意我的go源码版本是go1.16.7

5. 小结

看完源码之后心情舒爽,我相信大家肯定会更自信了,不管同事问你还是面试官问你,你可以自豪的给他从源码角度分析了,而且别人一听就能判断出你是读过源码的,求知欲满满!

如果你觉得这篇文章对你帮助很大,请你转发、分享、关注、点赞哦,写作不易,还望大家多多支持哈。

公粽号:堆栈future

使很多处于迷茫阶段的coder能从这里找到光明,堆栈创世,功在当代,利在千秋

125篇原创内容

图片

<think>我们正在讨论Go语言slice的动态扩容机制。根据用户提供的引用,我们可以总结出以下关键点: 1. **slice底层结构**:slice是一个结构体,包含三个部分:指向底层数组的指针、长度(len)和容量(cap)[^4]。 2. **扩容触发条件**:当使用`append`向slice添加元素时,如果当前长度(len)等于容量(cap),即没有足够的空间容纳新元素,就会触发扩容[^1][^2]。 3. **扩容策略**: - 如果当前容量(cap)小于1024,则新容量(newCap)为旧容量(oldCap)的两倍[^2][^5]。 - 如果当前容量大于等于1024,则新容量为旧容量的1.25倍(即增加25%)[^2][^5]。 - 注意:实际扩容时,还会根据切片元素的大小进行内存对齐调整,因此最终容量可能大于计算值[^3][^5]。 4. **扩容后的内存分配**:扩容后,Go运行时会分配一个新的底层数组,并将原切片的数据复制到新数组中,然后返回指向新数组的切片[^2][^4]。 5. **扩容对原数组的影响**:如果扩容后的切片没有超过原数组的容量,那么切片仍然指向原数组;如果超过,则指向新数组[^2]。 下面我们详细解释slice的动态扩容机制,包括底层原理和具体步骤。 --- ### 一、slice的底层结构 sliceGo语言中由以下结构体表示(简化): ```go type slice struct { array unsafe.Pointer // 指向底层数组的指针 len int // 当前长度 cap int // 总容量 } ``` - `len`:表示切片中当前存储的元素个数。 - `cap`:表示底层数组的总长度,即切片可以容纳的最大元素个数。 - `array`:指向底层数组的指针,该数组实际存储数据[^4]。 --- ### 二、扩容机制详解 #### 1. 扩容触发条件 当使用`append`向切片追加元素时,如果切片的当前长度`len`等于容量`cap`,即`len == cap`,则触发扩容[^1][^2]。 ```go sliceB := make([]int, 3, 3) // len=3, cap=3 sliceB = append(sliceB, 1) // 触发扩容 ``` #### 2. 扩容容量计算 Go语言中的扩容策略如下(以`oldCap`表示旧容量): - **情况1**:当`oldCap < 1024`时,新容量`newCap = oldCap * 2`(双倍扩容)[^2][^5]。 - **情况2**:当`oldCap >= 1024`时,新容量`newCap = oldCap * 1.25`(每次增加25%)[^2][^5]。 **注意**:上述计算得到的`newCap`只是初步值,实际扩容时还会根据切片元素类型的大小进行内存对齐调整,最终容量可能大于计算值[^3][^5]。 #### 3. 内存对齐调整 在确定初步扩容容量后,Go运行时还会根据切片元素类型的大小(`et.size`)进行内存对齐优化,以提高内存访问效率。调整规则如下: 1. 计算扩容后所需的总内存:`capmem = newCap * et.size` 2. 根据内存分配器的大小规格(size class)向上取整,得到实际分配的内存大小`roundup`[^5]。 3. 最终容量:`newCap = roundup / et.size` 例如:假设一个`int`切片(每个元素占8字节),旧容量为5,则: - 初步扩容:`newCap = 5 * 2 = 10` - 所需内存:`10 * 8 = 80`字节 - 内存分配器可能分配96字节(假设size class为96字节) - 最终容量:`96 / 8 = 12` 因此实际扩容后的容量为12,而不是10[^5]。 --- ### 三、扩容过程示例 假设一个初始切片: ```go s := make([]int, 3, 3) // len=3, cap=3 s[0], s[1], s[2] = 1, 2, 3 ``` 当执行`append(s, 4)`时: 1. 检查容量:`len(s) = 3`,`cap(s) = 3`,需要扩容。 2. 计算新容量:`oldCap = 3 < 1024`,所以`newCap = 3 * 2 = 6`。 3. 分配新数组:创建一个长度为6的`int`数组。 4. 复制数据:将原切片`[1,2,3]`复制到新数组。 5. 追加元素:在新数组索引3处添加`4`。 6. 返回新切片:`len=4`,`cap=6`,底层数组指针指向新数组。 --- ### 四、扩容对原数组的影响 - **未扩容时**:多个切片可能共享同一个底层数组,修改数据会影响其他切片[^4]。 - **扩容后**: - 如果扩容后未超过原数组容量,则仍使用原数组(但这种情况不会发生,因为扩容意味着容量不足)。 - 扩容后必然分配新数组,原切片指向新数组,与原数组解耦[^2][^4]。 > 关键结论:**扩容后切片与原底层数组分离,后续修改互不影响**。 --- ### 五、性能优化建议 1. **预分配容量**:如果已知切片最大长度,创建时直接指定容量避免多次扩容: ```go // 推荐:预分配容量 s := make([]int, 0, 1000) ``` 2. **避免小切片频繁扩容**:对小切片连续`append`可能触发多次扩容,影响性能。 --- ### 总结 - **扩容策略**:容量<1024时双倍扩容,≥1024时1.25扩容。 - **内存对齐**:实际容量会根据元素大小和内存规格调整[^5]。 - **数据迁移**:扩容后数据复制到新数组,与原数组分离[^2][^4]。 > 理解扩容机制有助于编写高效代码,尤其在处理大规模数据时,预分配容量可显著减少内存分配次数[^3][^5]。 --- §§相关问题§§ 1. 如何通过预分配优化切片性能? 2. 切片扩容后,原底层数组何时被垃圾回收? 3. 切片扩容过程中内存对齐的具体规则是什么? 4. 除了扩容,还有哪些操作会导致切片与底层数组分离?</think>### Go语言Slice动态扩容机制详解 Slice的动态扩容机制是Go语言核心特性之一,其底层实现遵循高效的内存管理策略。以下是详细原理分析: --- #### 一、Slice底层结构(扩容基础) Slice由三个核心字段组成: ```go type slice struct { array unsafe.Pointer // 指向底层数组的指针 len int // 当前元素数量 cap int // 底层数组总容量 } ``` [^4] - **指针**:指向连续内存空间的起始位置 - **长度(len)**:当前存储的元素数量 - **容量(cap)**:底层数组的最大容量 > 关键特性:多个Slice可能共享同一个底层数组,扩容会创建新数组[^4] --- #### 二、扩容触发条件 当以下条件满足时触发扩容: ```go if len(slice) + newElements > cap(slice) { // 执行扩容 } ``` [^1][^2] - 示例:`cap=3`的Slice追加第4个元素时必然扩容 - **特例**:`nil`切片首次追加时创建容量=1的底层数组 --- #### 三、扩容策略(核心算法) 扩容遵循内存效率最优原则: 1. **基础扩容规则**: ```math \text{newCap} = \begin{cases} \text{oldCap} \times 2 & \text{if } \text{oldCap} < 1024 \\ \text{oldCap} \times 1.25 & \text{if } \text{oldCap} \geq 1024 \end{cases} ``` [^2][^5] 2. **内存对齐优化**: - 计算扩容值后,根据CPU缓存行大小向上取整 - 示例:需扩容1500字节时,实际可能分配1536字节 - 优化目标:减少内存碎片,提高访问速度[^3][^5] 3. **特殊元素类型的处理**: - 元素大小超过特定阈值(如指针大小)时采用保守扩容策略 - 避免大对象频繁复制导致性能下降 --- #### 四、扩容过程详解 1. **内存分配**: ```go // Go运行时伪代码 func growslice(oldPtr *byte, oldLen, oldCap, newLen int) (newPtr *byte, newCap int) { // 1. 计算新容量(应用上述规则) // 2. 内存对齐优化 // 3. 分配新内存空间 // 4. 复制旧数据到新空间 return newPtr, newCap } ``` [^5] 2. **数据迁移**: - 使用`memmove`进行内存块复制(高效系统调用) - 时间复杂度:$O(n)$,$n$为旧Slice长度 3. **旧内存回收**: - 旧底层数组失去引用后被GC自动回收 - 无引用切片扩容后立即成为GC候选对象 --- #### 五、扩容示例分析 ```go s := make([]int, 3, 3) // len=3, cap=3 [^1] s = append(s, 4) // 触发扩容 // 扩容过程: // 1. oldCap=3 < 1024 → newCap = 3*2 = 6 // 2. 分配6个int的新数组 // 3. 复制[0,1,2]到新数组 // 4. 追加4到索引3位置 // 5. 返回新Slice: len=4, cap=6 ``` --- #### 六、性能优化实践 1. **预分配策略**: ```go // 已知最大规模时预分配 data := make([]byte, 0, 1e6) // 提前分配1MB容量 ``` - 避免多次扩容和数据复制[^3] 2. **扩容阈值监控**: ```go // 监控扩容点 if len(slice)+n > cap(slice) { fmt.Printf("扩容发生: %d->%d\n", cap(slice), newCap) } ``` 3. **大切片处理技巧**: - 使用`copy()`替代重切片操作 - 分块处理避免单次超大扩容 --- ### 总结:扩容机制核心要点 | 特性 | 说明 | |---------------------|----------------------------------------------------------------------| | 容量计算 | <1024时2倍扩容,≥1024时1.25扩容[^2] | | 内存优化 | 按CPU缓存行对齐分配[^5] | | 时间复杂度 | $O(n)$ 数据复制操作 | | 对原数组影响 | 创建新数组,原数组可被GC回收[^4] | | 最佳实践 | 预分配容量避免运行时扩容 | > 关键结论:**Go扩容策略在内存效率和操作速度间取得平衡,通过预分配可显著提升性能** [^3][^5]。 ---
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值