你一定能够成为你想要去成为的人。

随机梯度下降及动量随机梯度下降算法对每批数据Xiti进行优化g∇θ​Jθ;xitiθθ−ηg随机梯度下降算法的基本思想是，在每次迭代中，随机选择一个样本i，计算该样本的梯度g∇θ​Jθ;xiti，然后按照梯度的反方向更新参数θ，即θθ−ηg，其中η是学习率，控制更新的步长。基于动量的更新过程。

多层感知机（Multi-layer Perceptron，MLP）前向传播l1...L−1层l层的神经元j的输入ujl​∑j​wjil​yil−1​bjl​，注意y0xl层的神经元j的输出yjl​fujl​；f⋅是激活函数lL层：对应任务层（Softmax​分类、回归、图像去噪）激活函数Sigmoid函数fz1e−z1​f′zfz1−fz))双曲正切函数。

定义目标：给定数据点Xn∈Rm和相应标签tn∈Ω，找到一个映射fRm→Ω连续的数值变量连续回归(regression)划分为离散的类离散分类(classification)回归类型线性回归：用于建立因变量和自变量之间线性关系的统计方法fxwxβ其中，y是因变量，x1​x2​⋯xn​是自变量，β0​β1​⋯βn​是回归系数。多项式回归：多项式回归是一种扩展了线性回归的方法，它可以拟合因变量和自变量之间的非线性关系。fx。

由Fei-Fei Li & Justin Johnson & Serena Yeung（CS231n 2019，Stanford University）给出的建议。超参数: 控制算法行为，且不会被算法本身所更新，通常决定了一个模型的。在全部数据上训练模型，并找到使损失值能够快速下降的学习率。当损失值下降较慢时，将学习率缩小10倍。第4步：粗粒度改变学习率，训练1-5轮。第5步：细粒度改变学习率，训练更长时间。第3步：找到使损失下降的学习率。第1步：观察初始损失。第6步：观察损失曲线。

批归一化（Batch Normalization，BatchNorm）是一种用于优化深度神经网络的方法，它可以通过对每一层的输入数据进行标准化处理，使其。，从而减少每一层输入数据分布的变化，加快网络的收敛速度，提高网络的泛化能力和鲁棒性。对每个标量形式的特征单独进行归一化，使其均值为0，方差为1。当使用SGD时，不同迭代次数时输入到神经网络的数据不同，ICS：训练中，深度神经网络中间节点分布的变化。是可学习的参数，用于调整数据的尺度和偏移，是一个小常数，用于防止除零错误，是该层输入数据的均值和方差，

数据增强（Data Augmentation）是一种用于优化深度学习模型的方法，它可以通过从现有数据生成新的训练数据来扩展原数据集，从而提高模型的泛化能力和防止过拟合。一个隐含层神经元不能依赖于其它存在的神经元，因此可以防止神经元出现复杂的相互协同（co-adaptations）实践中，p在低层设得较小，例如0.2，但在高层设得更大，例如0.5。旋转、缩放、裁剪、翻转、调整亮度、对比度、颜色。这些被置零的输出，将用于在反向传播中计算梯度。等，以生成新的、多样的、有代表性的样本。在训练迭代过程中，以。

Adam 算法可以利用一阶矩和二阶矩的信息，实现自适应的学习率调整，使得参数在梯度方向上加速，而在垂直梯度方向上减速，从而避免参数在最优值附近的震荡，加快收敛速度。为了改善随机梯度下降算法的收敛性，可以引入动量（momentum）的概念，即在更新参数时，考虑之前的更新方向和幅度，使得参数沿着一个平滑的轨迹移动。是一个介于 0 和 1 之间的常数，通常为0.9、0.99、0.999，用于控制历史信息的影响程度。的梯度下降算法，它可以根据不同的参数调整不同的学习率，使得目标函数更快地收敛。