深入浅出pytorch-02 pytorch深度学习框架简介

学习链接

奇客谷
2
3

前言总结：

常用库函数概览

转换成张量 torch.tensor
运算torch.mm(matrix1,matrix2)
并行torch.CUDA
网络torch.nn

• torch.nn.functional 激活函数和池化
• torch.nn.Linear | torch.nn.conv2d 线性和卷积
• torch.MSELoss | torch.CrossEntropyLoss 损失函数
• torch.nn.init 网络初始化
• torch.nn.Parameters 张量网络参数化

优化器torch.optim

• torch.optim.SGD
• torch.optim.lr_scheduler

辅助模块torch.utils

• torch.utils.data
  • toch.utils.data.Dataset
  • torch.utils.data.DataLoader
• torch.utils.tensorboard

存储载入

• torch.load()
• torch.save()
• torch.load_state_dict()

Pytorch 的计算图概览

动态图：

pytorch使用动态计算图，在计算过程中构建图（结点是运算符）。

前向构建图的时候同时构建反向计算图，输出张量绑定反向梯度函数，到了最终损失函数后，开始沿着反向图，调用反向梯度函数。权重张量绑定梯度张量，优化器这个工具人来进行优化更新权重张量。

三个主人公和工具人：

• 输出张量
• 权重张量
• 梯度张量
• 优化器（工具人）

+表示绑定

• 优化器+权重张量
• 输出张量+反向梯度函数
• 优化器 ---->权重张量<------ (梯度张量)

工具人 优化器：

LMS (online 更新) ⇒ SGD(考虑单次批次梯度信息) ⇒ Momentum(不够，再考虑之前的批次信息)⇒ AdaGrad（考虑过去所有的梯度平方和，用NLMS类似手法）⇒ RMSProp(用指数记忆过去平方梯度信息，再类似NLMS) ⇒ Adam(结合RMSProp和Momentum)

SGD, Momentum, AdaGrad, Rmsprop, Adam

• SGD : 批次随机梯度下降

• Momentum： $${\mathbf{w}}_{t+1}={\mathbf{w}}_t-{\mathbf{m}}_t$$
  $${\mathbf{m}}_t=\gamma .{\mathbf{m}}_{t-1}+\alpha \frac{dL}{d{\mathbf{w}}_t}$$

• AdaGrad: 类似于NLMS, 记忆梯度平方
  $${\mathbf{G}}_{\mathbf{t}}=\sum _{i=1}^t(\frac{dL}{d{\mathbf{w}}_i}{)}^2$$
  $${\mathbf{w}}_{t+1}={\mathbf{w}}_t-\frac{}{\sqrt{{\mathbf{G}}_{\mathbf{t}}+ϵ}}$$