数值优化（Numerical Optimization）学习系列-计算导数（Calculating Derivatives）

概述

最优化问题中很多算法，包括非线性最优化、非线性等式等都需要计算导数。简单函数可以直接进行人工计算或者编码实现，对于复杂的情况，需要寻找一些方法进行计算或者近似。本节主要内容包括
1. 常见导数求解方法
2. 有限差分方法
3. 自动微分方法
4. 总结

常见导数求解方法

有限差分方法（Finite Differencing）

根据导数的定义，导数表示函数在给定点x处，给定无限小的涉动后函数值的改动。因此我们可以根据定义，在给定点x处给定一个无限小的抖动，看函数值的变化率，即

$$\frac{\partial f}{\partial x_i} \approx \frac{f(x+\epsilon e_i)-f(x-\epsilon e_i)}{2\epsilon}$$

自动微分方法

基本思路就是将复杂的函数分解为基本函数以及基本运算，然后通过构建有向无环图进行求解。常见函数导数求解方法

另外就是导数运算法则，例如函数加、减、乘除以及链式法则的应用。

符号微分法

有限微分近似算法

基础思想是泰勒定理和Lipschitz连续。介绍如下：
1. 泰勒公式：

$$f(x+p)=f(x) + \nabla f(x)^Tp+\frac 12 p^T\nabla ^2 f(x+tp)p$$
2. Lipschitz continuous: 对任意的x和x2 $$d_Y(f(x_1,x_2)) \le Kd_X(x1,x2)$$ 参考wiki

有限微分近似算法主要是基于导数定义，在给定点x处给定一个无限小的改动，看函数的变化。

前向微分

定义：

$$\frac{\partial f(x)}{\partial x_i} \approx \frac{f(x+\epsilon e_i)-f(x)}{\epsilon}$$
对于n维的向量，需要计算量为（n+1）

方法推导

根据泰勒公式：

$$f(x+p)=f(x) + \nabla f(x)^Tp+\frac 12 p^T\nabla ^2 f(x+tp)p$$
假设 $||\nabla^2f(x)|| \le L$，L在一定范围内，则有

||f(x+p)−f(x)−∇f(x)Tp||≤(L/2)||p|