weixin_43184669的博客

这里写自定义目录标题欠拟合解决方法过拟合过拟合的原因防止过拟合的方法L1/L2正则化L1正则化L2正则化在深度学习领域，训练模型时，我们不仅要求模型对训练数据集有很好的拟合（较低的训练误差），同时也希望它可以对未知数据集（测试集）有很好的拟合结果（泛化能力），所产生的测试误差被称为泛化误差。其中就会产生欠拟合和过拟合的问题。度量泛化能力的好坏，最直观的表现就是模型的过拟合（overfitting）和欠拟合（underfitting）。模型开始训练时，处于欠拟合阶段，随着训练的进行，训练误差和测试误差开

激活函数的作用激活函数的引入是为了增加神经网络模型的非线性，没有激活函数每层就相当于矩阵相乘。每一层输出都是上层的输入的线性函数，无论神经网络多少层，输出都是输入的线性组合，就是最原始的感知机。Softmax函数又称为归一化指数函数，用于多分类过程中，将多个神经元的输出映射到 [0,1][0,1][0,1] 区间中。假如有 nnn 个输出，分别为 V1∼nV_{1\sim n}V1∼n​ ，则第 iii 个输出的概率为:Si=ei∑ejS_i=\frac{e^i}{\sum{e^j}}Si​=