m0_60066036的博客

首先抽取一个小批量B，它是由固定数量的训练样本组成的；然后，计算小批量的损失均值关于模型参数的导数（也可以称为梯度）；最后，将梯度乘以一个预先确定正数η, ，并从当前参数的值中减掉。总结算法的步骤如下，（1）初始化模型参数的值，如随机初始化；（2）从数据集中随机抽取小批量样本并且在负梯度方向上更新参数，并不断迭代这一步骤。不断在损失函数递减的方向上更新参数来降低误差。属于梯度下降的变体。

卷积神经网络（Convolutional Neural Networks, CNN）是计算机视觉技术最经典的模型结构。卷积神经网络的常用模块包括：卷积、池化、激活函数、批归一化、丢弃法等。

探讨如何面对不同的应用问题，从数学优化的视角加以形式化，进而指导深度神经网络的建模。事实证明，深度神经网络的结构设计和参数选择均有据可循，均可以从数学优化中汲取营养，从传统机器学习中寻求借鉴。