pytorch动手深度学习的笔记[二]

一.循环神经网络
循环神经网络基于当前的输入与过去的输入序列，预测序列的下一个字符。它引入一个隐藏变量H，用Ht表示H在时间步t的值。Ht的计算基于Xt和Ht−1，可以认为Ht记录了到当前字符为止的序列信息，利用Ht对序列的下一个字符进行预测。

1.隐状态的引入
2.one-hot向量
3.初始化模型参数：隐藏层参数，输出层参数。
4.定义模型后裁剪梯度，定义预测函数，定义模型训练函数，使用困惑度评价模型。

二.循环神经网络进阶

GRU
⻔控循环神经⽹络：捕捉时间序列中时间步距离较⼤的依赖关系。其中1.重置⻔有助于捕捉时间序列⾥短期的依赖关系；
2.更新⻔有助于捕捉时间序列⾥⻓期的依赖关系。

LSTM网络
长短期记忆long short-term memory :
1.遗忘门:控制上一时间步的记忆细胞
2.输入门:控制当前时间步的输入
3.输出门:控制从记忆细胞到隐藏状态
4.记忆细胞：⼀种特殊的隐藏状态的信息的流动
深度循环神经网络和双向循环神经网络的单元可由rnn，gru，lstm单元构成。

机器翻译及其相关技术
Encoder-Decoder , SequenceToSequence模型
encoder：输入到隐藏状态decoder：隐藏状态到输出可以应用在对话系统、生成式任务。

三.卷积神经网络
二维卷积层
二维卷积层，常用于处理图像数据。它将输入和卷积核做互相关运算，并加上一个标量偏置来得到输出。卷积层的模型参数包括卷积核和标量偏置。
填充和步幅
它们可以对给定形状的输入和卷积核改变输出形状。填充（padding）是指在输入高和宽的两侧填充元素（通常是0元素)。在互相关运算中，卷积核在输入数组上滑动，每次滑动的行数与列数即是步幅（stride）。

多输入通道和多输出通道
1.之前的输入和输出都是二维数组，但真实数据的维度经常更高。例如，彩色图像在高和宽2个维度外还有RGB（红、绿、蓝）3个颜色通道。假设彩色图像的高和宽分别是h和w（像素），那么它可以表示为一个3×h×w的多维数组，
2.我们将大小为3的这一维称为通道（channel）维。卷积层的输出也可以包含多个通道，设卷积核输入通道数和输出通道数分别为ci和co，高和宽分别为kh和kw。如果希望得到含多个通道的输出，我们可以为每个输出通道分别创建形状为ci×kh×kw的核数组，将它们在输出通道维上连结，卷积核的形状即co×ci×kh×kw。

池化
二维池化层
池化层主要用于缓解卷积层对位置的过度敏感性。同卷积层一样，池化层每次对输入数据的一个固定形状窗口（又称池化窗口）中的元素计算输出，池化层直接计算池化窗口内元素的最大值或者平均值，该运算也分别叫做最大池化或平均池化。

卷积神经网络模型发展

LeNet 模型
LeNet分为卷积层块和全连接层块两个部分：
卷积层块里的基本单位是卷积层后接平均池化层：卷积层用来识别图像里的空间模式，如线条和物体局部，之后的平均池化层则用来降低卷积层对位置的敏感性。
卷积层块由两个这样的基本单位重复堆叠构成。
在卷积层块中，每个卷积层都使用5×55×5的窗口，并在输出上使用sigmoid激活函数。第一个卷积层输出通道数为6，第二个卷积层输出通道数则增加到16。
全连接层块含3个全连接层。它们的输出个数分别是120、84和10，其中10为输出的类别个数。
卷积神经网络就是含卷积层的网络，LeNet交替使用卷积层和最大池化层后接全连接层来进行图像分类。
LeNet: 在大的真实数据集上的表现并不尽如⼈意。1.神经网络计算复杂。2.还没有⼤量深⼊研究参数初始化和⾮凸优化算法等诸多领域。
机器学习的特征提取:手工定义的特征提取函数神经网络的特征提取：通过学习得到数据的多级表征，并逐级表⽰越来越抽象的概念或模式。
神经网络发展的限制:数据、硬件

AlexNet模型
首次证明了学习到的特征可以超越⼿⼯设计的特征，从而⼀举打破计算机视觉研究的前状。特征有以下四点：1. 8层变换，其中有5层卷积和2层全连接隐藏层，以及1个全连接输出层。2. 将sigmoid激活函数改成了更加简单的ReLU激活函数。3. 用Dropout来控制全连接层的模型复杂度。4. 引入数据增强，如翻转、裁剪和颜色变化，从而进一步扩大数据集来缓解过拟合。

VGG模型
VGG：通过重复使⽤简单的基础块来构建深度模型。Block:数个相同的填充为1、窗口形状为3×33×3的卷积层,接上一个步幅为2、窗口形状为2×22×2的最大池化层。卷积层保持输入的高和宽不变，而池化层则对其减半。

⽹络中的⽹络（NiN）
LeNet、AlexNet和VGG：先以由卷积层构成的模块充分抽取 空间特征，再以由全连接层构成的模块来输出分类结果。NiN：串联多个由卷积层和“全连接”层构成的小⽹络来构建⼀个深层⽹络。⽤了输出通道数等于标签类别数的NiN块，然后使⽤全局平均池化层对每个通道中所有元素求平均并直接⽤于分类。
1×1卷积核作用1.放缩通道数：通过控制卷积核的数量达到通道数的放缩。2.增加非线性。1×1卷积核的卷积过程相当于全连接层的计算过程，并且还加入了非线性激活函数，从而可以增加网络的非线性。3.计算参数少

NiN重复使⽤由卷积层和代替全连接层的1×1卷积层构成的NiN块来构建深层⽹络。NiN去除了容易造成过拟合的全连接输出层，而是将其替换成输出通道数等于标签类别数 的NiN块和全局平均池化层。NiN的以上设计思想影响了后⾯⼀系列卷积神经⽹络的设计。

GoogLeNet模型

1. 由Inception基础块组成。
2. Inception块相当于⼀个有4条线路的⼦⽹络。它通过不同窗口形状的卷积层和最⼤池化层来并⾏抽取信息，并使⽤1×1卷积层减少通道数从而降低模型复杂度。
3. 可以⾃定义的超参数是每个层的输出通道数，我们以此来控制模型复杂度。

参考链接：https://www.boyuai.com/elites/course/cZu18YmweLv10OeV/jupyter/dO8Jtl_nmycnq1SdNohoe