梯度下降法基本原理

最近学习机器学习，看到这篇梯度下降法讲得最为通俗易懂，故转载保存下：
转自：http://blog.youkuaiyun.com/nuptboyzhb/article/details/8281923

梯度下降法是一个一阶最优化算法，通常也称为最速下降法。我之前也没有关注过这类算法。最近，听斯坦福大学的机器学习课程时，碰到了用梯度下降算法求解线性回归问题，于是看了看这类算法的思想。今天只写了一些入门级的知识。

我们知道，函数的曲线如下：

编程实现：c++ code

[cpp] view plain copy

print ?

1. / 
2.   @author:郑海波 
3.   blog.youkuaiyun.com/nuptboyzhb/ 
4.   2012-12-11 
5.  /  
6. #include <iostream>  
7. #include <math.h>  
8. using namespace std;  
9. int main()  
10. {  
11.     double e=0.00001;//定义迭代精度  
12.     double alpha=0.5;//定义迭代步长  
13.     double x=0;//初始化x  
14.     double y0=x*x-3*x+2;//与初始化x对应的y值  
15.     double y1=0;//定义变量，用于保存当前值  
16.     while (true)  
17.     {  
18.         x=x-alpha(2.0*x-3.0);  
19.         y1=x*x-3*x+2;  
20.         if (abs(y1-y0)<e)//如果2次迭代的结果变化很小，结束迭代  
21.         {  
22.             break;  
23.         }  
24.         y0=y1;//更新迭代的结果  
25.     }  
26.     cout<<”Min(f(x))=”<<y0<<endl;  
27.     cout<<”minx=”<<x<<endl;  
28.     return 0;  
29. }  
30. //运行结果  
31. //Min(f(x))=-0.25  
32. //minx=1.5  
33. //Press any key to continue