mengdeer_Q的博客

门在LSTM中用的是sigmoid函数（输出为0,1）而待选数据ct'为tanh函数。ft表示遗忘门（forget）,it表示输入门（input）, ot为输出门(output), ct'为输入单元的候选状态。由图可知，ct-1记录着历史信息（t时刻之前的信息），ft与ct-1向量相乘可以选择接收和遗忘ct-1中存储的历史数据。LSTM是一种特殊的RNN（循环神经网络），是RNN的变体，可以做到记住重要信息而忘记无关紧要信息的特点。it这个门与候选数据ct'相互作用，筛选ct'中的数据，为输入门。

基于pytorch平台建立了RNN网络简单例子，主要讨论了参数形状，计算图和反向传播时应注意的问题，主要为技术上的，并未就RNN的原理展开过多探讨。

SummaryWriter用法

以举例的形式介绍了torch.gather的用法

采用Pytorch编写对Minist训练的深度网络

以pytoroch的一个简单网络为例，介绍Pytorch定义深度学习网络的方法，并详细介绍了各网络参数的设置和计算方法。

针对之前根据CIFAR10训练好的模型用其对输入图片进行测试，简单介绍使用流程。

通过一个简单的例子介绍网络的搭建，训练，测试和保存。

介绍两种加载和调用模型的方法.

以vgg16网络为例，介绍导入已有训练好（直接用来预测）和未训练好的网络（用其框架）；还介绍了对已导入网格的修改和添加操作，从而做出适用于自己问题的网络。

用pytorch框架定义了一个简单卷积神经网络，并采用随机梯度下降法进行了20轮的迭代学习，期间统计了所有样本在每一轮的误差。

先介绍了3种常见损失函数，需要重点注意交叉熵损失函数的输入格式。后面通过定义一个简单卷积网络和利用交叉熵进行反向传播

pytorch中用nn.sequential搭建简单网络

Affine层也叫线性层，在神经网络全连接用的比较多，即Y = WX+b, 其中W为权重向量，b为偏置。在pytorch中Affine层为采用nn.Linear()类实现

以非线性激活函数nn.ReLU和nn.Sigmoid介绍非线性激活函数的用法参数inplace表示是否改变原来的值，例如nn.ReLu(input, inplace= Ture) 表示input的值会改变而nn.ReLu(input, inplace= False) 表示input的值不会改变，可以让output值接收，例如：output = n.ReLu(input, inplace= False) 此时input为原值，而output接收处理后的值建议设置inplace = False, 以免丢

池化层的作用是为了缩减参数。nn.MaxPool2d的使用比较简单，其中参数ceil_model为False表示当输入的一部分小于池化核时则舍弃。

nn.functional.Conv2d提供了卷积的计算函数，需要自己定义卷积核，输入图像的相关信息（值），从而帮助计算卷积。而nn.Conv2d类仅需要提供输入层，卷积核的尺寸信息即可计算，自动初始化权重等信息。

Conv2d是位于torch.nn.functional中的方法，用于计算2维图像。

利用torch.nn.module建立简单神经网络框架

DataLoader可以将datasets中的数据打包抽取，生成batch_size便于深度学习训练。

pytorch本身自带的Dataset类提供了一些列数据集，比如常用的EMNIST，CORFAR10诸如此类。这里简要介绍如何用Dataset导入这些数据集，以及将这些数据集和transforms配合使用。

介绍torchvision中transforms的用法，主要用于对图像进行处理。

pytorch学习之tensorboard的学习