数值优化——牛顿法

机器学习之牛顿法

原理

泰勒公式

$f(x)=\sum^\infty_{n=0}f^{(n)}(x_0)\times\frac{1}{n!}(x-x_0)^n$

假设函数$f(x)$二次可微，则二次泰勒展开：

$f(x)\approx g(x)=f(x_k)+f^{'}(x_k)(x-x_k)+\frac{1}{2}f^{''}(x_k)(x-x_k)^2$

求函数$f(x)$极值可转化为求导函数为0,对$g(x)$求导并令其为0

$f^{'}(x_k)+f^{''}(x_k)(x-x_k)=0$

$\Rightarrow x_{k+1}=x_k-\frac{f^{'}(x_k)}{f^{''}(x_k)}$

由此得到迭代公式，$x_{k+1}$不断逼近极值，直到某一次导数小于某误差

步骤

1. 确定初始点$x_0$,确定误差大小$e$
2. 计算$f^{'}(x_k)$,若它的绝对值小于$e$则停止迭代,$x_k$即为极值点
3. 计算$f^{''}(x_k)$,并根据迭代公式求得$x_{k+1}$
4. 跳转至步骤2

代码实现

这里使用的函数：$x^3+2x^2+3x+4$

#!/usr/bin/env python3
# -*- coding: utf-8 -*-

def h(x):
    return x * x * x + 2 * x * x + 3 * x + 4


def h1(x):
    return 3 * x * x + 4 * x + 3


def h2(x):
    return 6 * x + 4


if __name__ == "__main__":
    # x的初始值
    x_k = 0
    # 误差大小
    e = 0.0001
    k = 1
    y = 0
    # 迭代次数
    times = 10000

    while k < times:
        y = h(x_k)
        # 计算f'
        y1 = h1(x_k)
        if abs(y1) <= e:
            break
        # 计算f''
        y2 = h2(x_k)
        x_k -= y1 / y2
        k += 1
    print("k = ", k)
    print("x = ", x_k)
    print("y = ", y)