机器学习中的优化方法<一>

《机器学习中的优化方法》之一：梯度法/最速下降法

0、引言 机器学习中的优化问题

机器学习中的model，基本都会有一个object function。通过是最小化object function，来获得model的参数。

那么这里就用到了“优化方法”，而且多是“多变量优化”。多变量体现在参数多。

当然简单的模型可以得到解析解（例如线性回归,残差平方最小化），但是更多的模型是无法得到解析解的。

下图是：线性回归的参数估计问题，通过极大似然法导出了最小二乘法

机器学习的优化问题多数是“无约束优化问题”，即对自变量的范围、自变量的相关性等没有限制，每个自变量（参数）的作用域的实数空间R。

无约束优化问题的典型求解方法：

1、下降递推算法

2、 一维搜索

此处只介绍牛顿法。在机器学习中，这一步就是学习效率的确定，机器学习多处理成常数。

牛顿法(Newton)  

3、求多变量函数极值的基本下降法

3.1、最速下降法(梯度法) 

3.2、 Newton法

3.3、阻尼Newton法

参考：

1.http://book.douban.com/subject/1164411/