本文介绍了梯度算法，特别是梯度上升和梯度下降在机器学习中的应用。梯度是函数在某一点的最大方向导数，梯度下降用于最小化损失函数，而梯度上升用于最大化。文章探讨了批量、随机和小批量梯度下降的差异，以及算法优化、步长选择、初始化和归一化的考虑。同时，对比了梯度下降与其他优化算法，如最小二乘法和牛顿法的特点。
- 方向导数
当讨论函数沿任意方向的变化率时，也就引出了方向导数的定义，即：某一点在某一趋近方向上的导数值。
导数和偏导数的定义中，均是沿坐标轴正方向讨论函数的变化率。那么当讨论函数沿任意方向的变化率时，也就引出了方向导数的定义，即：某一点在某一趋近方向上的导数值。
通俗的解释是： 我们不仅要知道函数在坐标轴正方向上的变化率（即偏导数），而且还要设法求得函数在其他特定方向上的变化率。而方向导数就是函数在其他特定方向上的变化率。
- 梯度
函数在某一点的梯度是这样一个向量，它的方向与取得最大方向导数的方向一致，而它的模为方向导数的最大值。
注意点：
1）梯度是一个向量
2）梯度的方向是最大方向导数的方向
3）梯度的值是最大方向导数的值
最低0.47元/天 解锁文章
扫一扫
5112
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
