本文探讨了神经网络优化的基本原理，详细介绍了如何通过梯度下降法寻找参数的最优值，以最小化损失函数。文章以实例说明了参数初始化、梯度计算及学习率在优化过程中的应用。
假设a为神经网络的参数（实际上代表W和b），f(x)表示在给定的参数取值下，训练数据集损失函数的大小，整个神经网络的优化过程可以抽象为寻找一个参数x，使f(x)最小。
其梯度是
，在定义一个学习率n，来定义每次更新的幅度，也可以说是每次参数移动的幅度。由此得到参数的更新公式：
举个例子假设损失函数是
,首先随机产生一个参数x的初始值，然后在通过梯度和学习率来更新参数x的取值。例子中梯度为x，假设参数的初始值为4，学习率为0.2，优化过程如下
通过这样一步步的训练，来更新参数
扫一扫
评论
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
查看更多评论
添加红包
