激活函数、损失函数、优化器
关注
分享
扫一扫
WangXu__
这个作者很懒，什么都没留下…
展开
-
激活函数
激活函数一、激活函数概述及其作用 如果没有激活函数，可以证明即使网络再深，也只是输入的线性组合，与隐藏层的深度没有关系。引入激活函数，即非线性函数，增强了网络的非线性表达，获得更强大的学习和拟合能力。二、常用的激活函数2.1 Sigmoid 数学形式： ...原创 2019-07-18 15:36:36 · 311 阅读 · 0 评论 -
损失函数
损失函数（目标函数）一、损失函数概述 损失函数即为目标函数，用来衡量计算值与真实值之间的差距。 经验风险损失：即为训练数据预测结果和真实结果之间的差距。 结构风险损失：即在经验风险损失的基础之上加上了正则化项。 &nb...原创 2019-07-18 15:57:35 · 680 阅读 · 0 评论 -
优化器
优化器一、优化器概述 根据前向传播求得损失，然后利用优化器对模型参数进行优化。二、常见的优化器2.1 SGD 数学公式： 利用损失函数J(θ)，反向传播求得θ的导数，通过链式法则对θ进行更新。其中η为学习步长（学习率）。 &nbs...原创 2019-07-18 16:08:47 · 1290 阅读 · 0 评论