最优化-梯度下降法

最优化概述

机器学习近年来已经获得迅速发展,而机器学习的本质就是对问题进行抽象建模,使得一个学习问题变为一个可求解的优化问题,归纳起来就是把一个学习问题转化为优化问题.我们需要寻找输入特征与标签之间的映射关系,有一条重要的原则就是使得寻找到的映射结果与原始标签之间的误差最小.
最优化算法从最基本的梯度下降法到一些启发式算法,如遗传算法(GA),差分演化算法(DE),粒子群算法(PSO)和人工蜂群算法(ABC).

梯度下降法

梯度下降法又称为最速下降法,是一种最优化求解算法,可被应用到线性回归算法中,当然还有其他机器学习算法,如逻辑斯蒂回归和神经网络.

拟合函数

以线性回归作为算法实例,拟合函数为:

$$H(x) = \theta_0 + {\theta_1}X_1 + {\theta_2}X_2 + ...+ {\theta_n}X_n$$
其中, $\theta_0 , \theta_1, \theta_n$为参数, $X_1, X_2, X_n$为特征.

代价函数

为求得模型最优化解,需要找到合适的参数使得拟合函数能更好的适合模型,然后使用梯度下降法最小化代价函数$J(\theta)$,这里采用平方差作为代价函数.

$$J(\theta) = \frac{1}{2m}\sum_{i=1}^{m}(h_\theta(x^{(i)}) - y^{(i)})^2$$
m表示训练集的数目,
$x^{(i)}$表示第i个训练样本的所有特征,
$h_\theta(x^{(i)})$表示依据拟合函数第i个训练样本的拟合值,
$y^{(i)}$为第i个样本的实际结果值.
代价函数的用途:对假设的函数进行评价,代价函数(误差)越小的拟合函数说明拟合训练数据拟合的越好.
举例说明:
给定训练数据集: (1,1),(2,2),(3,3),共有3个训练样本,每个训练样本包含一个特征值及对应的结果值,只有一个特征,所以拟合函数为