数值梯度的计算

数值梯度的表达式:

\frac{f(x+h) - f(x)}{h}

其误差为O(h),证明如下:

f(x+h)=f(x)+f'(x)h+O(h^2)

\frac{f(x+h) - f(x)}{h}=\frac{f(x)+f'(x)h+O(h^2)-f(x)}{h} = f'(x) - O(h)

 而:

  \frac{f(x+h) - f(x-h)}{2h}

f(x+h)=f(x)+f'(x)h+f''(x)h^2+O(h^3)

f(x-h)=f(x)-f'(x)h+f''(x)h^2-O(h^3)

\frac{f(x+h) - f(x-h)}{2h}=\frac{2f'(x)h + 2O(h^3)}{2h}=f'(x)+O(h^2)

的误差是O(h^2),  这是不同的地方。

以函数

f(x)=0.01x^2 + 0.1x

为例,计算它的数值微分,首先根据高等数学公式,可以得出f'(x)=0.02x + 0.1

f'(5)=0.2

# coding: utf-8
import numpy as np
import matplotlib.pylab as plt

def numerical_diff(f, x):
    h = 1e-3 # 0.001
    return (f(x+h) - f(x-h)) / (2*h)

def function_1(x):
    return 0.01*x**2 + 0.1*x 

def tangent_line(f, x):
    d = numerical_diff(f, x)
    print(d)
    y = f(x) - d*x
    return lambda t: d*t + y
     
x = np.arange(0.0, 20.0, 0.1)
y = function_1(x)
plt.xlabel("x")
plt.ylabel("f(x)")

tf = tangent_line(function_1, 5)
y2 = tf(x)

plt.plot(x, y)
plt.plot(x, y2)
plt.show()

运行结果如下:


结束

数值梯度计算高阶导数通常涉及到对函数的连续微分操作。在机器学习和优化算法中,我们不仅需要一阶导数(梯度)来确定函数的斜率,对于某些复杂的模型或损失函数,二阶导数(Hessian矩阵)甚至更高阶的导数信息也很重要,它们可以提供关于函数曲率的信息。 数值求导是当解析表达式不可得时,通过数据点之间的差分近似来估计导数的一种方法。对于高阶导数,我们可以使用以下几种常见的数值方法: 1. **中心差分法**:这是一种常用的二阶导数估计方法,比如计算 f''(x) ≈ (f(x+h) - 2f(x) + f(x-h)) / h^2,其中h是一个很小的数值,代表了离散化步长。 2. **向前差分**和**向后差分**:用于计算一阶导数后,再分别向前或向后一步应用中心差分法来得到二阶导数。 3. **复合梯度法**:这种方法用于计算高阶导数,如三阶导数(f'''(x)),可以先计算出二阶导数,然后再用类似的方式计算其一阶导数。 4. **有限差分法**:这是更一般的概念,包括上述各种方法,它利用有限数量的函数值来逼近导数。 然而,随着阶数的增加,数值误差会累积,所以高阶数值导数的计算可能会变得不稳定。为了提高精度,有时会选择使用基于自动微分(Automatic Differentiation, AD)的技术,它能够避免手动构造差分公式,直接从程序的执行路径生成导数信息。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

papaofdoudou

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值