[模式识别] [讲义] 最小均方差（LMS, Least Mean Square）：梯度下降、随机梯度下降、正规方程组、牛顿法、坐标下降

即求 $min \dfrac{1}{2} \sum_{i=1}^{m} (x_{j}^{(i)} - y^{(i)})^{2} = min J$ ，

其中 $x_{j}^{(i)}$ 表示第 $i$ 个样本的第 $j$ 维，有以下几种方法：

1. 梯度下降法（gradient descent）——batch

参数更新规则为 $\theta_{k+1} = \theta_{k} - \alpha \nabla_{\theta} J(\theta)_{k}$

因为

$$h(x) = \sum_{i=0}^{n} \theta_{i} x_{i} (x_{0} = 1)$$

$$\nabla_{\theta} J(\theta) = [ \frac{\partial J} {\partial \theta_{0}}... \frac{\partial J} {\partial \theta_{j}}...\frac{\partial J} {\partial \theta_{n}} ] ^{T}$$

所以，

∂J∂θj=12∑i=1m2⋅(∑k