qq_37241964的博客

过拟合即模型在训练集上表现的很好，但是在测试集上效果却很差。也就是说，在已知的数据集合中非常好，再添加一些新数据进来效果就会差很多欠拟合即模型在训练集上表现的效果差，没有充分利用数据，预测准确率很低，拟合结果严重不符合预期dropout层为什么说Dropout可以解决过拟合取平均的作用先回到标准的模型即没有dropout，我们用相同的训练数据去训练5个不同的神经网络，一般会得到5个不同的结果，此时我们可以采取“5个结果取均值”或者“多数取胜的投票策略”去决定最终结果。减少神经元

网络容量网络中神经单元数越多，层数越多，神经网路的拟合能力越强。但是训练速度，难度越大，越容易产生过拟合。如何选择超参数所谓超参数，也就是搭建神经网路中，需要我们自己去选择（不是通过梯度下降算法去优化）的哪些参数。比如，中间层的神经元个数，学习速率。如何提高网络的拟合能力增大网络容量增加层（深度）增加层会大大提高网络的拟合能力，这也是为什么现在深度学习的层越来越深的原因增加隐藏神经元个数（宽度）单纯的增加神经元个数对网络性能的提高并不明显注意：单层的神经元个数，不能太小，太小的

多层感知器梯度下降算法梯度的输出向量表明了在每个位置损失函数增长最快的方向，可将它视为表示了在函数的每个位置向那个方向移动函数值可以增长。曲线对应于损失函数。点表示权值的当前值，即现在所在的位置。梯度用箭头表示，表明为了增加损失，需要向右移动。此外，箭头的长度概念化地表示了如果在对应的方向移动，函数值能够增长多少。如果向着梯度的反方向移动，则损失函数的值会相应减少。学习速率梯度就是表明损失函数相对参数的变化率，对梯度进行缩放的参数被称为学习速率（learning rate）或可称之为

softmax分类对数几率回归解决的是二分类的问题，对于多个选项的问题，我们可以使用softmax函数，它是对数几率回归在N个可能不同的值上的推广softmax各样本分量之和为1，当只有两个类别时，与对数几率回归完全相同损失函数的选择顺序编码-sparse_categorical_crossentropy独热编码-categorical_crossentropy

线性回归预测的是一个连续值，逻辑回归给出的“是”和“否”的回答。

多层感知器多层感知器，他是一种深度学习模型，通过多层神经元的连接和激活来解决非线性问题。激活函数激活函数的种类包括relu，sigmoid和tanh等relusigmoidtanhLeak relu