牛顿法和牛顿下山法求极值的理解

泰勒展开

先创建一个不太方便求解的方程$\sin x=-0.01e^x$，并用matlab画出来$y=\sin x+0.01e^x$和$y=0$的图像。

牛顿法的理解

求$y:f(x)=0$的解，其实可以理解为求$y:F(x)=-\cos x+0.01x$的极值：

牛顿法的基本思想是：在现有极小值点的估计值附近，对$f(x)$做二阶泰勒展开，进而找到下一个极小值点的估计值。
但如果没有以3为起点，而是用2作为起点，很有可能就收敛不到想要的解了。\

x1=newtonn(3)                 %使用一次函数 	
x2=newtonn(x1)               %使用两次函数 
figure 	plot(t,y3,'r',t,y4,'k',x1,0,'r.',x2,0,'g.'); 
hold on 	
plot(t(3001),y3(3001),'*r')   %初始迭代点

function [ out ] = newtonn( x )
y=sin(x)+0.01*exp(x);
dy=cos(x)+0.01*exp(x);
out = x-y/dy;
end

• 优点：收敛速度快；
• 缺点：对初值要求高，当初始值离根很远时，可能会造成结果发散。

牛顿法的改进——牛顿下山法

背景：为了解决上述结果容易发散的缺点，而制定的算法。
思路：针对发散的情况，使有意识的使$|f(x_{k+1})|<|f(x_k)|$，即从现象上避免了结果发散。

为了达成这一结果，考虑到如果$x_{k+1}=x_k$，则$|f(x_{k+1})|=|f(x_k)|$，所以只需限制x的增量值即可。

牛顿下山法原理

经典牛顿法：
$$x_{k+1}=x_k-\frac{f(x_k)}{f^{{}^{\prime }}(x_k)}$$

加权平均：
$$x_{k+1}^{{}^{\prime }}=\lambda x_{k+1}+(1-\lambda )x_k$$

拟牛顿法：
$$x_{k+1}^{{}^{\prime }}=\lambda (x_k-\frac{f(x_k)}{f^{{}^{\prime }}(x_k)})+(1-\lambda )x_k=x_k-\lambda \frac{f(x_k)}{f^{{}^{\prime }}(x_k)}$$

总结

限于文章篇幅，这里只简单叙述牛顿法某一方面的缺点及牛顿下山法对此的改进措施。改进只是立足主要矛盾下的，任何改动都不可避免的会产生次要矛盾，比如收敛速度。