深度学习
关注
分享
扫一扫
空腹熊猫
普通后台开发，喜欢看源码，对机器学习深度学习感兴趣
展开
-
深度学习理论：优化算法
摘自《动手学习深度学习》这里的优化指最小化基于训练数据集的损失函数，目标在于降低训练误差（DL还需关注泛化误差，需要考虑过拟合，这里暂不讨论）意义深度学习中大多数目标函数都不存在解析解，需要使用基于数值方法的优化算法找到数值解（近似解）。一般会通过优化算法有限次迭代模型参数来尽可能降低损失函数的值优化的挑战1、局部极小值当目标函数的梯度为0时，可能只是局部极小值...转载 2020-03-13 08:44:25 · 434 阅读 · 0 评论 -
深度学习理论：带时间的反向传播（循环神经网络）
摘自《动手学习深度学习》这里介绍循环神经网络中梯度的计算和存储方法在深度学习理论：正向传播与反向传播中讲了正向传播和反向传播的计算过程，主要依据求导链式法则，需要对中间变量（参数）进行计算与存储。当反向传播应用到循环审计网络时，则要将循环神经网络按时间步展开，得到模型变量和参数之间的依赖关系，并依据链式法则应用反向传播计算并存储梯度考虑一个无偏差项的循环神经网络，且激活函数为恒等...转载 2020-03-11 08:39:58 · 325 阅读 · 0 评论 -
深度学习理论：正向传播与反向传播
摘自《动手学习深度学习》这里将带L2范数正则化的含单隐藏层的多层感知机为例解释正向传播（forward propagation）指对神经网络沿着从输入层到输出层的顺序，依次计算并存储模型的中间变量（包括输出），下图中左下角x为输入，右上角J为输出，方框代表变量，圆圈代表运算符，箭头表示从输入到输出之间的依赖关系。输入样本为：x∈Rd，不考虑偏差，则中间变量为：是...转载 2020-03-11 08:10:21 · 6055 阅读 · 0 评论