前言
在机器学习的过程中，求导是一件重要的基础数学工具。尤其是对于多特征的数据、模型而言，更加注重多元函数的求导。机器学习优化参数的一个重要方法就是在方向向量的基础上求其梯度。本文介绍了梯度、方向导数的含义以及其在机器学习中的应用。
方向导数
梯度的引入依靠方向向量。在多元函数中，设 u = f ( x 1 , x 2 , . . . , x n ) u=f(x_1, x_2, ...,x_n) u=f(x1,x2,...,xn)在点 x ( 0 ) = ( x 1 ( 0 ) , x 2 ( 0 ) , . . . , x n ( 0 ) ) x^{(0)}=(x^{(0)}_1, x^{(0)}_2, ...,x^{(0)}_n) x(0)=(x1(0),x2(0),...,xn(0))的一个邻域内有定义。对于给定的方向 l = ( cos α 1 , cos α 2 , . . . , cos α n ) l=(\cos\alpha_1,\cos\alpha_2,...,\cos\alpha_n) l=(cosα1,cosα2,...,cosαn)，如果极限
lim ρ → 0 + f ( x 1 ( 0 ) + ρ cos α 1 , x 2 ( 0 ) + ρ cos α 2 , . . . , x n ( 0 ) + ρ cos α n ) − f ( x 1 ( 0 ) , x 2 ( 0 ) , . . . , x n ( 0 ) ) ρ \displaystyle{\lim\limits_{\rho\rightarrow0^+}\frac{f(x_1^{(0)}+\rho\cos\alpha_1,x_2^{(0)}+\rho\cos\alpha_2,...,x_n^{(0)}+\rho\cos\alpha_n)-f(x^{(0)}_1, x^{(0)}_2, ...,x^{(0)}_n)}{\rho}} ρ→0+limρf(x1(0)+ρcosα1,x2(0)+ρcosα2,...,xn(0)+ρcosαn)−f(x1(0),x2(0),...,xn(0)
最低0.47元/天 解锁文章
扫一扫
1281
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
