weixin_45311418的博客

对于（10,3,227,227）数据表示，10张3通道的图，图的大小（特征数）为227*227.通道数：作为卷积的输入通道数和输出通道数。特征数：特征图的大小步长stride和填充padding：线性减小特征图的尺寸池化pooling：非线性且高效减小特征图的尺寸。

模型结构选择策略：探究模型的层数、激活函数、神经元个数的影响

自定义数据集类，封装数据def __init__(self, features, labels): # 创建该类时需要输入的数据集self.features = features # features属性返回数据集特征self.labels = labels # labels属性返回数据集标签self.lens = len(features) # lens属性返回数据集大小# 返回index对应的特征和标签# 返回数据集大小。

尽管深度学习也属于机器学习范畴，基本的建模理念和机器学习类似，比如需要确定目标函数和损失函数、找到合适的优化算法对参数进行求解等等，但利用PyTorch在进行建模的过程却和和最大的机器学习库Scikit-Learn中定义的机器学习建模方法有较大的差别。那为何PyTorch的整个实现过程看似会更加复杂？归根结底，还是和深度学习建模的特殊性有关。

张量的创建、索引、分片、合并、维度调整、广播、科学计算、线性代数运算。

在正式开始进行神经网络建模之前，我们还需要掌握一些基本数学工具，在PyTorch中，最核心的基础数学工具就是梯度计算工具，也就是PyTorch的AutoGrad（自动微分）模块。AutoGrad模块，就是PyTorch提供的最核心的数学工具模块，我们可以利用其编写一系列的最优化方法，当然，要使用好微分工具，就首先需要了解广泛应用于机器学习建模的优化思想。所谓优化思想，指的是利用数学工具求解复杂问题的基本思想，同时也是近现代机器学习算法在实际建模过程中经常使用的基础理论。

回归：SSE和MSE 误差平方；二分类：BCELoss二分类交叉熵损失函数；多分类：CrossEntropyLoss 多分类交叉熵损失函数

实际上，神经网络的处理原理是一致的，就连算法的限制、优化方法和求解方法也都是一致的。回归和分类神经网络唯一的不同只有输出层上的σ。

（1）神经网络的反向传播（2）优化算法：小批量随机梯度下降SGD的步长 lr 和动量 gamma（3）迭代学习的数据大小batch_size与次数epoches，分割和合并数据集的类TensorDataset与DataLoader（4）在MINST-FASHION上实现神经网络的学习流程

从结果可以看出，只要隐藏层的h(z)是阶跃函数，XOR网络就一定能有效，这与输出层g(z)是什么函数完全无关。从这里开始，若没有特别说明，当我们提到“激活函数”时，特指隐藏层上的激活函数h(z)。其中，第一层的激活函数是relu，第二层是sigmoid。我们要如何实现它呢？学到这里，我们已经学完了一个普通深度神经网络全部的基本元素——用来构筑神经网络的结构的层与激活函数，输入神经网络的数据（特征、权重、截距），并且我们了解从左向右的过程是神经网络的正向传播（也叫做前向传播，或者向前传播）。