1.PyTorch数据结构Tensor常用操作

import torch  as t
t.__version__

'2.1.1'

从接口的角度来讲，对tensor的操作可分为两类：

1. torch.function，如torch.save等。
2. 另一类是tensor.function，如tensor.view等。

为方便使用，对tensor的大部分操作同时支持这两类接口，如torch.sum (torch.sum(a, b))与tensor.sum (a.sum(b))功能等价。

而从存储的角度来讲，对tensor的操作又可分为两类：

1. 不会修改自身的数据，如 a.add(b)， 加法的结果会返回一个新的tensor。
2. 会修改自身的数据，如 a.add_(b)， 加法的结果仍存储在a中，a被修改了。

函数名以_结尾的都是inplace方式, 即会修改调用者自己的数据，在实际应用中需加以区分。

1.1 创建Tensor

在PyTorch中新建tensor的方法有很多。

表1-1: 常见新建tensor的方法

函数	功能
Tensor(*sizes)	基础构造函数
tensor(data,)	类似np.array的构造函数
ones(*sizes)	全1Tensor
zeros(*sizes)	全0Tensor
eye(*sizes)	对角线为1，其他为0
arange(s,e,step)	从s到e，步长为step
linspace(s,e,steps)	从s到e，均匀切分成steps份
rand/randn(*sizes)	均匀/标准分布
normal(mean,std)/uniform(from,to)	正态分布/均匀分布
randperm(m)	随机排列

这些创建方法都可以在创建的时候指定数据类型dtype和存放device(cpu/gpu).

其中使用Tensor函数新建tensor是最复杂多变的方式，它既可以接收一个list，并根据list的数据新建tensor，也能根据指定的形状新建tensor，还能传入其他的tensor，下面举几个例子。

# 指定tensor的形状
a = t.Tensor(2, 3)
a               # 数值取决于内存空间的状态，print时候可能overflow

tensor([[-1.0752245760e+09,  1.4601529998e-42,  1.4012984643e-45],
        [ 0.0000000000e+00,  1.4012984643e-45,  0.0000000000e+00]])

# 用list的数据创建tensor
b = t.Tensor([[1,2,3],[4,5,6]])
b

tensor([[1., 2., 3.],
        [4., 5., 6.]])

b.tolist()         # 把tensor转为list

[[1.0, 2.0, 3.0], [4.0, 5.0, 6.0]]

tensor.size()返回torch.Size对象，它是tuple的子类，但其使用方式与tuple略有区别

b_size = b.size()
b_size

torch.Size([2, 3])

b.numel()         # b中元素总个数，2*3，等价于b.nelement()

6

# 创建一个和b形状一样的tensor
c = t.Tensor(b_size)
# 创建一个元素为2和3的tensor
d = t.Tensor((2, 3))
c, d

(tensor([[1.4012984643e-45, 0.0000000000e+00, 1.4012984643e-45],
         [0.0000000000e+00, 1.4012984643e-45, 0.0000000000e+00]]),
 tensor([2., 3.]))

除了tensor.size()，还可以利用tensor.shape直接查看tensor的形状，tensor.shape等价于tensor.size()

c.shape

torch.Size([2, 3])

需要注意的是，t.Tensor(*sizes)创建tensor时，系统不会马上分配空间，只是会计算剩余的内存是否足够使用，使用到tensor时才会分配，而其它操作都是在创建完tensor之后马上进行空间分配。其它常用的创建tensor的方法举例如下。

t.ones(2, 3)

tensor([[1., 1., 1.],
        [1., 1., 1.]])

t.zeros(2, 3)

tensor([[0., 0., 0.],
        [0., 0., 0.]])

t.arange(1, 6, 2)

tensor([1, 3, 5])

t.linspace(1, 10, 3)

tensor([ 1.0000000000,  5.5000000000, 10.0000000000])

t.randn(2, 3, device=t.device('cpu'))

tensor([[-1.1603765488, -1.2580411434, -0.3872119784],
        [-0.9962984324, -2.3714294434, -1.5460534096]])

t.randperm(5) # 长度为5的随机排列

tensor([1, 4, 0, 2, 3])

t.eye(2, 3, dtype=t.int) # 对角线为1, 不要求行列数一致

tensor([[1, 0, 0],
        [0, 1, 0]], dtype=torch.int32)

torch.tensor是在0.4版本新增加的一个新版本的创建tensor方法，使用的方法，和参数几乎和np.array完全一致

scalar = t.tensor(3.14159) 
print('scalar: %s, shape of sclar: %s' %(scalar, scalar.shape))

scalar: tensor(3.1415901184), shape of sclar: torch.Size([])

vector = t.tensor([1, 2])
print('vector: %s, shape of vector: %s' %(vector, vector.shape))

vector: tensor([1, 2]), shape of vector: torch.Size([2])

tensor = t.Tensor(1,2) # 注意和t.tensor([1, 2])的区别
tensor.shape

torch.Size([1, 2])

matrix = t.tensor([[0.1, 1.2], [2.2, 3.1], [4.9, 5.2]])
matrix,matrix.shape

(tensor([[0.1000000015, 1.2000000477],
         [2.2000000477, 3.0999999046],
         [4.9000000954, 5.1999998093]]),
 torch.Size([3, 2]))

t.tensor([[0.11111, 0.222222, 0.3333333]],
                     dtype=t.float64,
                     device=t.device('cpu'))

tensor([[0.1111100000, 0.2222220000, 0.3333333000]], dtype=torch.float64)

empty_tensor = t.tensor([])
empty_tensor.shape

torch.Size([0])