LiLi_code的博客

一种寻找损失函数最小化的算法：批量梯度下降、随机梯度下降、小批量梯度下降梯度下降算法的优化方法：动量算法、adaGra、RMSProp、Adam学习率退火：分段常数衰减、指数衰减、1/t衰减...

利用反向传播算法对神经网络进行训练，该方法与梯度算法相结合，对网络中所有权重计算损失函数的梯度，并利用梯度值来更新权值以最小化损失函数。前向传播是指数据输入到神经网络中，逐层向前传输，一直运算到输出层为止。反向传播算法其实就是利用链式法则对神经网络中的各个节点的权重进行更新。...

衡量预测值与真实值之间的差异的函数就叫做损失函数，衡量模型参数的质量的函数，衡量的方式是比较网络输出和真实输出的差异。常见命名：分类任务的损失函数交叉熵结果越接近0，说明预测结果越接近真实值。回归任务的损失函数Smooth 上面2中损失函数的结合，使用最多网络会根据损失函数更新网络参数权重，来训练网络模型，对神经网络进行优化。...

对于一个神经元来说，需要初始化的参数有2类：①权重W②偏置b，初始化为0即可权重初始化方式一、随机初始化（使用的很少） 随机初始化从均值为0，标准差为1的高斯分布中取样，使用一些很小的值对参数W进行初始化二、标准初始化 三、Xavier初始化（使用较多） 四、he初始化 ...

一、过拟合就是所建的机器学习模型或者是深度学习模型在训练样本中表现得过于优越，在验证数据集以及测试数据集中却表现不佳。导致这种现象的原因有以下2种：①数据集特征单一，或者数据量过少 可以丰富数据集②网络层数较深，参数过多 适当的减少网络层数，激活函数使用relu也是一种方法，因为他会将小于0的部分全部归为0，从而造成了网络的稀疏性，并且减少了参数的相互依存关系，缓解了过拟合问题的发生二、欠拟合就是所建的模型在训练样本中的表现都很一般 可以通过增加网...