pytorch学习笔记 1. pytorch基础 tensor运算

pytorch与tensorflow是两个近些年来使用最为广泛的机器学习模块。开个新坑记录博主学习pytorch模块的过程，不定期更新学习进程。 文章较为适合初学者，欢迎对代码和理解指点讨论，下面进入正题。

import torch
import numpy as np

t1 = torch.tensor([1,2,3,4],dtype=torch.float64)
print(t1)
print(type(t1))
print(t1.size())

与numpy基本一致，tensor可以用于创建多维的array(张量)。

c = t1[0] + t1[1]
print(c)

对单元素进行加减乘除运算，得到的结果仍然是一个tensor。

x = torch.tensor(3.)
w = torch.tensor(4.,requires_grad=True) # only calculate the deriative when necessary
b = torch.tensor(5., requires_grad=True)

y = w * x + b # 正向传播过程

y.backward() # 反向传播，计算梯度的过程
print("dy/dx : "x.grad)
print("dy/dw : ",w.grad)
print("dy/db :"b.grad)

只有requires_grad属性为真的张量，在反向传播的过程中会计算梯度。

与numpy数组之间的转换

因为很多通常使用的数据，使用的是numpy矩阵的形式，pytorch也提供了一些函数用于将numpy数组转换为张量。
一般而言，将numpy ndarray转换为tensor的方法有以下三种 ：

np_matrix = np.array([1,3,5,7,9])
test1 = torch.tensor(np_matrix)
test2 = torch.from_numpy(np_matrix)
test3 = torch.as_tensor(np_matrix)

实际测试中会发现，直接使用tensor构建的实例会新分配一个内存，而使用from_numpy与as_tensor两个方法与之前的矩阵是统一个内存，不会重新分配内存。因此在优化内存方面可以优先使用后两个函数。（tips ： 在将numpy数组转换为tensor时需要注意精度问题，pytorch一般使用float32）

tensor的数据类型转换

使用 long float short int 等等方法，可以改变张量的数据类型，numpy方法可以将tensor转回numpy矩阵。