xiongmaowangd的博客

上一章完成的卷积神经网络主要是串行的，比较简单。现在我们看一些比较复杂的神经网络结构。

在之前提到，将一个张量对其进行全连接后，会出现例如第一行的最后一位与第二行的第一位最终会连接在一起，丧失了一些原有的空间信息。二维卷积，按照其原始的空间结构进行保存。目标：明确输入和输出的维度（方便我们进行不同的卷积操作）方法：构建特征提取器feature extraction，构建分类器classification（全连接）首先由于全连接会丢失空间信息，因此我们通常先对其进行特征提取，使用到卷积，下采样等（其中一些步骤信息可见上图）。最后对其进行全连接，方便其进行分类操作。

之前提到的分类任务都是二分类，也就是是或否。本节提到的是多分类任务。此节会运用到之前提到的MNIST，也是就数字分类任务，此时就是多分类（10）了。

dataset主要是用于构造数据集（支持索引），dataloader可以拿出一个mini-batch供我们快速使用。

输入x有多个特征features，最终得到输出y的类别。

机器学习的分类问题，使用logistics回归（虽然叫回归，但是是做分类任务的）

设计模型（用于计算y_hat（y的预测值）），构造损失函数和优化器（使用PyTorch API），写训练周期（前馈（算loss）+反馈（算梯度）+更新（更新权重））

使用pytorch来重现线性模型的过程，构造神经网络module，构造损失函数loss，构造随机梯度下降的优化器sgd。

首先第一层计算的是w1*x+b1，假如说我们的输入x是一个n维的列向量，结果是一个m维的列向量，MM是矩阵相乘，那我们需要的w1是一个m*n的矩阵，相乘得到的结果是一个m维的列向量，需要b1也是一个m维的列向量，ADD表示相加，得到的结果可以看成这个层的输出，但其实这个值还需要放入到下一层进行第二层的运算，而两个的运算过程都差不多，大家可以自己看一下。大家看，在一个线性的运算中，其中不管有多少层，w1，w2都是可以通过计算放在一起的，那最后得到的结果也可以看出来，又是一个新的线性运算。

其实对于我们将要学的梯度最小函数，目的就是先得到loss损失最小的值，然后根据这个最小的值去得到w。初始点在initial guess这个位置，我们希望找到最小的权重点global cost minimum，我们到底是让这个点左移寻找还是右移寻找呢？此时我们就需要使用到梯度定义。在加上一个x后，如果这个导数值变为负的，说明我接下来函数图像呈现下降的趋势，那根据我们上述所说的寻找一个阶梯最小函数，就是要使函数往小的方向进行。所以我们希望函数图像下降的话，我们就取导数为负的方向。

①首先准备好数据集（DataSet）②模型的选择或者设计（Model）③进行训练（Train）大部分模型都需要训练，有些不需要。这一步后我们会确定不同特征的权重④推理（inferring）1，2，3hours会有一个结果2，4，6points。这个就是训练过程，把x和y都给模型，让他自己学。5hours这个没有一个对应的y，这个就是我们的预测过程（相当于上面的题目学完了后，现在写这个题，看能不能写对）。

刚刚上面说的计算图算法，我们不需要自己去实现的。我们通常使用现成的deep learning framework 去进行实现（当然也可以自己去写framework，但是这个比我们写深度神经网络要难）我们将会用到的deep learning frameworks是pytorch（facebook），当然还有其他的如TensorFlow（Google），还有一个就是已近和pytorch合并的Caffe（facebook），还有如MxNet。欢迎大家一起学习Pytorch相关知识！！！