机器学习常用数学公式（梯度说明）

最新推荐文章于 2024-11-17 19:00:00 发布

mlee1018

最新推荐文章于 2024-11-17 19:00:00 发布

阅读量1.4w

点赞数 1

CC 4.0 BY-SA版权

分类专栏： ML 文章标签：机器学习数学公式 Taylor's formula Newton's method

本文链接：https://blog.youkuaiyun.com/Recall_Tomorrow/article/details/78896872

ML 专栏收录该内容

15 篇文章

订阅专栏

本文详细介绍了泰勒级数在一维和多维情况下的展开，并探讨了如何通过展开来理解极值点的概念。此外，还介绍了牛顿法的基本原理及其在求解方程根的应用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

输入为标量(Scalar)

$f(x_k+\delta)\ \approx\ f(x_k)+f'(x_k)\delta+\frac{f''(x_k)\delta^2}{2}\ \ \ \ \ \ \delta+x_k\in \mathring U(x_k)$

对于极值点 $x_k$ (极大值点和极小值点)表示在 $\forall x\in U{(x_k)}$ ，都有 $f(x)\leq f(x_k)\ (f(x)\geq f(x_k))$

我们只看泰勒级数的前两项,即 $f(x_k+\delta)\ \approx\ f(x_k)+f'(x_k)\delta$ ，可以看出如果 $x_k$ 为极大(小)值点，那么恒有 $f(x_k)\geq f(x_k+\delta)\ \ (f(x_k)\leq f(x_k+\delta))$ ，所以当 $\delta+x_k\in \mathring U(x_k)$ 时，必有 $f'(x_k)\equiv0$

如果现在满足 $f(x_k)=0$ ，且

$f''(x_k)>0$ ，则 $x_k$ 为严格的局部极小值点(反之为局部极大值点)
$f''(x_k)=0$ ，则有可能是一个鞍点(Saddle Point)

输入为矢量(Vector)

f (x ⃗ k + δ ⃗) \approx f (x ⃗ k) + \nabla T f (x ⃗ k) δ ⃗ + 1 2 δ ⃗ T \nabla 2 f (x ⃗ k) δ ⃗

$f(\vec x_k+\vec \delta)\ \approx\ f(\vec x_k)+\nabla^T f(\vec x_k)\vec\delta+\frac{1}{2}\vec\delta^T\nabla^2f(\vec x_k)\vec\delta$
补充，由上式

f (x ⃗ k + δ ⃗) - f (x ⃗ k) = \nabla T f (x ⃗ k) δ ⃗

$f(\vec x_k+\vec \delta)\ -\ f(\vec x_k) = \nabla^T f(\vec x_k)\vec\delta$ 可以看出，当我们在

x⃗ k x→k $\ \vec x_k\$ 附近加上一个扰动

δ⃗ δ→ $\ \vec \delta\$ 之后函数值的变化为

∇Tf(x⃗ k)δ⃗ ∇Tf(x→k)δ→ $\ \nabla^Tf(\vec x_k)\vec\delta\$ , 因此，我们可以得出如下结论，当这个扰动

δ⃗ δ→ $\ \vec \delta\$ 的方向与其在

x⃗ k x→k $\ \vec x_k\$ 处的梯度方向一致，那么这个函数值的变化就会最大（增加），或者说，梯度的反方向将会使函数值同样变化最大（减少）

Newton’s Method

它是牛顿在17世纪提出的一种在实数域和复数域上近似求解方程根的方法，它表达的意思就是，对于方程 $f(x)=0$ ,欲求其解 $x^*$ ，使得 $f(x^*)=0$ ,那么可以任意初始化一个值 $x_0$ 作为 $f(x)$ 的解，接着判断 $x_0$ 是否为 $f(x)$ 的解（第一种， $f(x_0)$ 是否为0，第二种， $x_i$ 与 $x_{i+1}$ 是否无限接近（当然此时 $f(x_{i+1})$ 的绝对值也必然无限接近于于0）)，如果不是，我们求出 $f(x)$ 在点 $x_i$ 处切线与x轴的交点作为 $f(x)$ 的下一个解 $x_{i+1}$ ，然后继续判断 $x_{i+1}$ 是否为 $f(x)$ 的解，直到找到解为止(必定在方程 $f(x)$ 的解处收敛)。 $f(x)$ 在 $x_i$ 处的切线方程为，

f (x) = f (x i) + f' (x i) (x - x i)

$f(x)=f(x_i)+f'(x_i)(x-x_i)$ 那么它的下一个可能解为

xi+1xi+1 $x_{i+1}$ ，即令切线方程为0(切线与X轴交点

xi+1xi+1 $x_{i+1}$ )，得到，

x i + 1 = x i - f ( x i ) f ' ( x i )

$x_{i+1}=x_{i}-\frac{f(x_i)}{f'(x_i)}$

对 于 方 程 f (x) = 0, x n + 1 = x n - f ( x n ) f ' ( x n ) 为 其 根 的 迭 代 公 式

$对于方程f(x)\ =\ 0,\ x_{n+1}\ =\ x_{n}\ -\frac{f(x_{n})}{f'(x_{n})}为其根的迭代公式$

非线性方程转为线性方程可利用Taylor’s formula

def calc_solution(n):  # x*x = n
    if n < 0:  # enable to calculate complex
        print('error')
    xi = 1
    xi1 = 10
    while abs(xi-xi1) > 0.0001:
        t = xi1
        xi1 = xi - (xi**2-n)/(2*xi)
        xi = t
    return xi1