谢TS的博客

PyTorch 深度学习/神经网络（总目录）

循环神经网络（Recurrent Neural Network, RNN）是以 序列（Sequence）数据作为输入，沿序列的演进方向进行 递归（Recurrent）且所有循环单元节点按链式连接的一类神经网络。循环神经网络具有记忆性，对序列数据的非线性特征进行学习时具有一定优势。还有 RNN 的加强版 长短期记忆网络（LSTM, Long Short-Term Memory）和 门控循环单元网络（GRU, Gated Recurrent Unit networks）拥有更强的“记忆力”。

全连接层，是每一输入节点都和所有输出节点相连。卷积神经网络一般用于图片等特征维度非常大的数据。池化的目的就是显著降低数据的维度。

当训练好一个模型后，可以把模型的状态参数保存到本地，下次需要使用时直接加载到模型即可，而不用每次都重新开始训练。当一个模型和数据集都非常大，训练时间需要特别长时，也可以定时保存模型的状态参数，防止中途出错。torch.utils.data 模块包含了数据加载相关的类。深度学习一般都需要大量的训练数据，如果把所有数据一次性加载到内存，容易把内存占满，因此需要把数据分批次加载和训练。顺序容器（nn.Sequential）的使用。

线性回归 和 非线性回归 的输出都是连续的。逻辑回归 与 线性回归/非线性回归 区别在于 逻辑回归 的输出是 二元离散 的，即输出特征只有两种结果。逻辑回归是二元分类，属于多元分类的一种特殊情况。多元分类与二元分类类似，区别在于使用 softmax 函数替代 sigmoid 函数作为激活函数。如果分类的类别数为 n，则 softmax 函数接收 n 个输入，然后输出 n 个概率（概率之和为 1），概率最大的类别就是预测的类别。

使用 线性模型 组合 激活函数 构建神经网络模型实现非线性回归。下面代码示例，先随机生成一组接近 y = x^3 的坐标点，然后构建非线性神经网络模型拟合所有坐标点，训练出拟合函数。

激活函数的出现就是要让神经网络模型可以拟合复杂的非线性函数。激活函数是一个 非常简单的非线性函数，只要把多个神经网络层的输出应用激活函数，神经网络就具有拟合复杂非线性函数的强大能力。

PyTorch 实现 线性回归 示例，随机生成一组二维坐标点数据集（接近一元一次方程分布），然后使用线性模型去拟合数据集，经过训练计算出线性模型参数。

PyTorch 是由 Facebook 研发的开源的深度学习框架，并且支持 CPU 和 GPU 加速计算。torch.Tensor 是包含单一数据类型元素的多维数组，它是 PyTorch 中数据存储和运算的基本单元，类似于 NumPy 的 numpy.ndarray，两者的函数接口和运算方式几乎一样。实际上 PyTorch 内部也是把 ndarray 包装成 Tensor。Tensor 中文称为 张量（可以看做是一个多维数组），是 PyTorch 中最基本的数据类型。