7、机器学习基础：线性、非线性算法及序列数据建模

机器学习基础：线性、非线性算法及序列数据建模

1. 线性算法

在机器学习中，线性算法是基础且重要的一部分。其中，梯度下降是常用的优化算法，用于最小化训练误差函数 $E_{train}$。

1.1 梯度下降

梯度下降的目标是找到权重 $w$ 使得 $E_{train}$ 最小，在最小值处，$E_{train}$ 的梯度为 0。梯度是一个包含每个维度偏导数的向量：
$g = \nabla E_{train}(w) = [\frac{\partial E_{train}}{\partial w_0}, \frac{\partial E_{train}}{\partial w_1}, \cdots, \frac{\partial E_{train}}{\partial w_n}]$
归一化梯度 $\hat{g}$ 可表示为：
$\hat{g} = \frac{\nabla E_{train}(w)}{|\nabla E_{train}(w)|}$
算法沿着 $-\hat{g}$ 的方向以小步长 $\eta$ 迭代更新权重，直至梯度为零。以下是梯度下降算法的伪代码：

Algorithm 6: Gradient descent
Data: Training Dataset $D_{train} = (x_1,y_1),(x_2,y_2),\cdots,(x_n,y_n)$  such that $x_i \in R^d$ and $y_i \in [+1,-1]$, Loss Function $E_{train}(w)$, Step size $\eta$ a