与君共勉，一起学习

在这篇文章中，我们提供了深度学习中使用的不同优化算法的完整概述。我们从梯度下降的 3 种主要变体开始，继续介绍多年来提出的不同方法，最后以二阶优化结束。不过我们只是粗略地了解了每种方法的数学知识，每种方法还有更多需要学习的地方。如果你想了解更多信息，我建议您查看原始论文以获取更多详细信息。

如今，Keras、TensorFlow 或 PyTorch 等框架提供了对大多数深度学习解决方案的交钥匙访问，而不必深入了解它们。但是，一旦您的模型没有按预期工作，这就会出现问题。您可能需要自己调整它。所以，如果你是来理解深度学习中感知器的概念，我认为你走在正确的轨道上，如果你想有一天能够以任何方式为这个生态系统做出贡献，那么了解这些的根源是必不可少的系统。否则，如果您已经熟悉感知器的概念，那也没什么大不了的。还是希望给你惊喜！在本文中，我将介绍Perceptron的概念。

​卷积神经网络是一种深度学习概念，专为处理图像而构建。机器学习是计算机从过去的经验中学习的概念。深度学习是机器学习的高级部分。CNN 旨在寻找视觉模式。当我们人类看到图像时，我们看到物体、颜色等。我们在成长过程中学习这些东西，但计算机只能理解 0 和 1，即二进制值。那么计算机将如何看到图像呢？每个图像都是由像素组成的。下图很好地描述了计算机如何读取图像。有两种类型的图像，灰度和彩色。灰度（黑色和白色）由范围从 0 到 255（黑色到白色）的值数组组成。

深度学习相关概念：过拟合与欠拟合1.过拟合与欠拟合2.应对过拟合2.1最优方案2.1次优方案2.1.1L2正则化2.1.2Dropout 随机失活3.应对欠拟合3.1解决方案：  在神经网络中，我们常常听到过拟合与欠拟合这2个名词，他们到底是什么意思呢？1.过拟合与欠拟合  过拟合：  是指学习时选择的模型所包含的参数过多，以至于出现这一模型对已知数据预测的很好，但对未知数据预测得很差的现象。这种情况下模型可能只是记住了训练集数据，而不是学习到了数据特征。  欠拟合：  模型描述能力太弱，以至于

深度学习相关概念：批量归一化1.为什么需要批量归一化2.批量归一化2.1批量归一化和权重初始化2.2 批量归一化与梯度消失2.3批量归一化算法2.4批量归一化算法改进2.5单样本测试1.为什么需要批量归一化  在训练过程中，每层输入的分布不断的变化，这使得下一层需要不断的去适应新的数据分布，这就会让训练变得非常复杂而且缓慢。为了解决这个问题，就需要设置更小的学习率、更严格的参数初始化。通过使用批量归一化(Batch Normalization, BN)，在模型的训练过程中利用小批量的均值和方差调整神经网

深度学习相关概念：权重初始化1.全零初始化（×）2.随机初始化2.1 高斯分布/均匀分布2.1.1权重较小—N(0,0.01)\pmb{\mathcal{N}(0,0.01)}N(0,0.01)​N(0,0.01)​​N(0,0.01)2.1.1权重较大—N(0,1\pmb{\mathcal{N}(0,1}N(0,1​N(0,1​​N(0,12.1.3存在问题：2.2 Xavier初始化2.2.1 原理2.2.2 N(0,1/N)\pmb{\mathcal{N}(0,1 / N)}N(0,1/N)​N(0,

深度学习相关概念：梯度下降法、动量法与自适应梯度1. 梯度下降概念2. 梯度下降的目的3. 梯度下降的原理4. 梯度计算5. 梯度下降算法的类别及计算效率5.1 批量梯度下降（BGD）5.2 随机梯度下降（SGD）5.3 小批量梯度下降（MBGD）1. 梯度下降概念  在深度学习中，你一定听说过“梯度下降”，在绝大部分的神经网络模型里有直接或者间接地使用了梯度下降的算法。深度学习的核心：就是把数据喂给一个人工设计的模型，然后让模型自动的“学习”，通过反向传播进而优化模型自身的各种参数，最终使得在某一组参

深度学习相关概念：反向传播、梯度消失与梯度爆炸计算图计算图总结反向传播颗粒度  在深度学习分类问题中，反向传播是一个重要的环节，它决定着模型是否能被训练，反向传播相当于一个负反馈，当一件事做完之后，会寻找当前事件做的不好的问题，进行回传，当下次在做的时候，进行优化。计算图  在了解反向传播之前，我们必须首先明白什么是计算图，当只有构成计算图时，数据才能通过反向传播进行更新。  计算图是一种有向图，它用来表达输入、输出以及中间变量之间的计算关系，图中的每个节点对应着一种数学运算。  例如函数f=(

深度学习相关概念：交叉熵损失交叉熵损失详解1.激活函数与损失函数1.1激活函数：1.2损失函数：2.对数损失函数（常用于二分类问题）：3.交叉熵、熵、相对熵三者之间的关系4.交叉熵损失函数（常用于多分类问题）4.1交叉熵的作用：5.交叉熵损失 VS 多类支撑向量机损失  我在学习深度学习的过程中，发现交叉熵损失在分类问题里出现的非常的频繁，但是对于交叉熵损失这个概念有非常的模糊，好像明白又好像不明白，因此对交叉熵损失进行了学习。交叉熵损失详解1.激活函数与损失函数  首先我们要知道的一点是，交叉熵损

深度学习相关概念：动量法与自适应梯度1.梯度下降存在的问题2.动量法（momentum）在上一篇博客中，我们介绍了梯度下降算法。但是梯度下降算法存在计算量过大或者陷入局部最优的问题。人们如今已经提出动量法和自适应梯度法来解决上述的问题。1.梯度下降存在的问题批量梯度下降（BGD）在梯度下降的每一步中，我们都用到了所有的训练样本，我们需要进行求和运算，在梯度下降中，在计算微积随机梯度下降（SGD）随机梯度下降法（SGD）由于随机梯度下降法一次迭代一个样本，导致迭代方向变化很大，不能很快的收