1. 基本要概念
- 泰勒多项式(Taylor polynomial)
- 泰勒展开式(Taylor expansion):即泰勒多项式
- 泰勒公式(Taylor’s Formula):是一个用函数在某点的信息描述其附近取值的公式
- 泰勒定理(Taylor’s theorem):泰勒定理描述了一个可微函数,如果函数足够光滑的话,在已知函数在某一点的各阶导数值的情况之下,泰勒公式可以用这些导数值做系数构建一个多项式来近似函数在这一点的邻域中的值,这个多项式称为泰勒多项式(Taylor polynomial)
- 工
2. 一元标量函数泰勒展开式
- 一元标量函数:即函数只有一个自变量,且函数值为标量(实数)
- 映射f:R1→R1
- 定义一元函数:f(x),其值为标量(实数值)
- f(x)在x附近的值可表示为线性逼近、二次逼近、高阶逼近
- 核心思想:x在指定点的邻域内,即x与指定点无限接近
2.1 一阶逼近(线性逼近:Linear approximation)
设x与
a 无限接近,则x表示点a 的邻域,其线性逼近:
f(x)≈f(a)+f′(a)(x−a)
若h无际小,则x+h表示x邻域内的点,其线性逼近可表示为:
f(x+h)≈f(x)+f′(x)h
2.2 二阶逼近(二次逼近:Quadratic approximation)
- 比一阶更好近逼近真正的f(x)
f(x+h)≈f(x)+f′(x)h+12f′′(x)h2
2.3 高阶逼近(high-order approximation)
- 通用函数在点x处的多项式表式:
f(x+h)≈f(x)+f′(x)h+12f′′(x)h2+16f′′′(x)h3+⋯ - 指数函数ex在x=0 的附近可以用以下多项式来近似地表示:
ex≈1+x+x22+x33!+⋯+xnn!
3. 多元标量函数泰勒展开式
- 一元标量函数:即函数只有1个自变量(且只有一个函数),且其值为标量
- 映射f:Rn→R1
- 定义多元标量函数:f(x),其值为标量(实数值),x=(x1,x2,⋯,xn)Tx为列向量
- 设h的每一维无限小,则
x+h 是x邻域内的点,h=(h1,h2,⋯,hn)Th为列向量 - 其前三项泰勒展开式为:
f(x+h)≈f(x)+(∂f∂x1(x)h1+⋯+∂f∂xn(x)hn)+12(∑i=1n∂2f∂x1∂xi(x)h21+⋯+∑i=1n∂2f∂xn∂xi(x)h2n) - 矩阵表示:
∇f(x)=g=[∂f∂x1(x),∂f∂x2(x),⋯,∂f∂xn(x)](g为行向量)
- g:为梯度(gradient),或者看作JacobianMatrix的一行,因为它只有一个函数
H=⎡⎣⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢∂2f∂x1∂x1(x)∂2f∂x2∂x1(x)⋮∂2f∂xn∂x1(x)∂2f∂x1∂x2(x)∂2f∂x2∂x2(x)⋮∂2f∂xn∂x2(x)⋯⋯⋱⋯∂2f∂x1∂xn(x)∂2f∂x2∂xn(x)⋮∂2f∂xn∂xn(x)⎤⎦⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥ - H :即为大家熟知的海森矩阵(HessianMatrix)
- f(x+h)的矩阵形式:
f(x+h)≈f(x)+gh+12hTHh=f(x)+∇f(x)h+12hTHh
- g:为梯度(gradient),或者看作JacobianMatrix的一行,因为它只有一个函数
3. 多元向量函数泰勒展开式
映射f:Rm→Rn
函数f(x)定义
f(x)=⎡⎣⎢⎢⎢⎢⎢f1(x)f2(x)⋮fm(x)⎤⎦⎥⎥⎥⎥⎥=⎡⎣⎢⎢⎢⎢⎢f1(x1,x2,⋯,xn)f2(x1,x2,⋯,xn)⋮fm(x1,x2,⋯,xn)⎤⎦⎥⎥⎥⎥⎥Taylor展开方式
f(x)的Tayloar展开:按照多元标量函数的展开方法,展开每个fj(x)
每个fj(x)的梯度∇f(x)组成了一个JacobianMatrix
其高阶项(二阶及二阶以上)很复杂,因为每一项有一个Hessian Matrix,其结果的阶数比较高,又由于h非常小,可以忽略
其前两项Taylor展开为:
f(x+h)≈f(x)+Jf(x)h
Jf(x)=Jf=⎡⎣⎢⎢⎢⎢⎢∇f1(x)∇f2(x)⋮∇fm(x)⎤⎦⎥⎥⎥⎥⎥=⎡⎣⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢∂f1∂x1∂f2∂x1⋮∂fm∂x1∂f1∂x2∂f2∂x2⋮∂fm∂x2⋯⋯⋱⋯∂f1∂xn∂f2∂xn⋮∂fm∂xn⎤⎦⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥- 这就是多变量向量函数的局部线性化