张量/数组存储方式与向量化展开/展平、view、reshape、permute对比

链接文章：
python pytorch中 .view()函数讲解
pytorch中张量的分块.chunk()方法和拆分.split()方法
NumPy中 ravel() 和 flatten() 展平数组 对比——Dust_Evc
NumPy：确定 ndarray 是查看还是复制以及它是否共享内存
tensor数据存储与内存共享
深入理解Tensor对象_下：从内存看Tensor

---

1 逻辑存储与内存存储

对于一个Tensor来说，我们可以认为它有两种存储方式

• 逻辑存储

• 内存存储

1.1 高维张量

• 在torch/numpy中, 即使是高维张量在内存中也是存储在一块连续的内存区域中
• 会记录一些元信息来描述数组的"形态", 例如起始地址, 步长 (stride), 大小 (size)等.
• 对高维张量进行索引时我们采用起始地址 + 地址偏移量的计算方式, 而地址偏移量就需要用到stride和size的信息

当我们在使用view去修改tensor的时候, 其实我们并没有修改tensor在内存中的存储, 而只是通过修改stride和size来描述张量形状的变化

1.2 按行展开和按列展开

• 如果张量x的行优先展开形式和其内存存储一致, 则我们称之为 C-contiguous
  • Numpy, Pytorch中的contiguous指的就是C-contiguous
• 如果张量x的列优先展开形式和其内存存储一致, 则我们称之为 Fortran-contiguous
  • Matlab, Fortran中的contiguous指的是Fortran-contiguous.
• 可用转置实现两种存储格式的转换，以pytorch为例：

vp=torch.randn(1,204)
vp1=vp.view(68,-1)