hdg34jk的专栏

优快云博客并没有公式编辑器，需要用公式编辑器编写之后再一图片的形式上传。因为这样很不方便，就在网上搜在线LaTeX编辑器：http://www.codecogs.com/latex/eqneditor.php。在线编辑公式之后，直接点击右键，复制图片链接即可： 一直用的挺好的，直到有一天发现我的博客里面的公式全部变成这样的！codecogs这个网站的在线图片是要收费的！但是我在复制链接时并没有提

梯度下降法是机器学习中的一个常用的优化算法，是入门机器学习的基础。因为其简单，可以快速的寻找最优解，在机器学习中比较常用。但是，梯度下降法也有致命的缺点，比如，对于非凸函数，很容易陷入局部最优解，而无法找到全局最优解。下文将全面介绍梯度下降法的原理、算法以及优缺点。梯度定义 梯度在数学上定义为在某点处的方向导数，是一个矢量，公式定义如下： 对于多元函数f(x1, x2, …, xn)，梯度

吴恩达机器学习第一课便是Logistic Regression，这个算法是一种常见的分类算法，因其使用了logistic函数，由此得名。Logistic Regression可以看成0个隐层的神经网络，学通该算法，对研究神经网络有很大帮助。1.正向传播 Logistic Regression 算法如下图所示，假设与y的相关的特征为x，通过输入特征x各分量的线性相加，再经非线性函数变换，就可以得到y

上一篇文章讲Logistic Regression时，说出Logistic Regression是含有0个隐层的神经网络，本文将介绍含一层隐层的浅层神经网络，浅层神经网络对理解深度神经网络有很大帮助，因为深度神经网络对各层进行优化时，用到的理论也是浅层神经网络。本文也将从正向反向传播介绍浅层神经网络。1.正向传播 浅层神经网络如下下图（图来着吴恩达notebook）所示，它与Logistic Re

过拟合问题经常发生在深度学习中，需要在loss函数中加入正则化项来解决该问题。本文将会介绍过拟合问题，给出正则化方法的公式，并推导其过程，最后介绍正则化为何可以解决过拟合以及Dropout。1.过拟合过拟合问题在深度学习中是常见的问题，假设做二类分类问题，结果有如下三类（欠拟合、“just right”、过拟合）：欠拟合问题是在training数据集中分类能力不够，导致准确度不高，可以通过调整网络结

深度学习是指神经网络包含了很多层的隐层，比如说10层20层这样，有些问题用浅层神经网络不能得到很好的优化，只能通过深层神经网络优化，这是因为深层神经网络有其独特的优势，下面我们就先介绍深层神经网络的优势。1.深层神经网络的优势1.深层神经网络的一大优势就是优化算法的局部最优解问题之前训练浅层神经网络时，经常会陷入局部最优解，而无法找到全局最优解，如下图所示（图来自吴恩达老师讲义）。这种问题出现在深度

在深层神经网络那篇博客中讲了，深层神经网络的局部最优解问题，深层神经网络中存在局部极小点的可能性比较小，大部分是鞍点。因为鞍面上的梯度接近于0，在鞍面上行走是非常缓慢的。因此，必须想办法加速收敛速度，使其更快找到全局最优解。本文将介绍mini-batch与Stochastic gradient descent方法。1.mini-batch之前的梯度下降法是将训练集所有的梯度计算之后，再更新参数，这样

上篇博客讲的是利用处理（分组数据集）训练数据集的方法，加快梯度下降法收敛速度，本文将介绍如何通过处理梯度的方法加快收敛速度。首先介绍Monmentum，再次介绍RMSprop，最后介绍两种算法的综合体Adam。1.Monmentum在介绍Monmentum之前，首先介绍加权平均法。加入给出一组数据的散点图，要求用一条曲线尽可能准确地描述散点图的趋势，如下图所示（图来自吴恩达课件）： 描述时利用加权