7、机器学习基础算法与序列数据建模全解析

机器学习基础算法与序列数据建模全解析

线性算法

在机器学习中，有些误差函数无法以闭式解的形式求解，这时梯度下降算法就派上了用场。它是一种通用的优化算法，在机器学习，包括深度学习中被广泛应用。

梯度下降

梯度下降的目标是找到能使训练误差函数 $E_{train}$ 最小化的权重 $w$。在最小值处，$E_{train}$ 的梯度为 0。梯度下降通过迭代过程，沿着梯度的负方向更新权重，直到梯度为零。梯度是一个包含各维度偏导数的向量，其表达式为：
$g = \nabla E_{train}(w) = [\frac{\partial E_{train}}{\partial w_0}, \frac{\partial E_{train}}{\partial w_1}, …, \frac{\partial E_{train}}{\partial w_n}]$
归一化梯度 $\hat{g}$ 可表示为：
$\hat{g} = \frac{\nabla E_{train}(w)}{|\nabla E_{train}(w)|}$
算法步骤如下：

Algorithm 6: Gradient descent
Data: Training Dataset Dtrain = (x1,y1),(x2,y2),..(xn,yn) such that xi ∈Rd and
yi ∈[+1,−1], Loss Function Etrain(w), Step size η and MaxIterations T
Result: Weight vector w ∈Rd+1
begin