机器学习笔记（4）-------正规方程理解和推导

梯度下降算法有助于解决很多线性问题，补过对于一些线性回归问题，正规方程方法有更好的解决办法。

如：

类似于我们以前常用的一元二次函数，对函数求导J'，然后J'=0求出最小点，即可得到最小值。

正规方程是通过求解下面的方程来找出使得代价函数最小的参数的：

关键是利用正规方程解出向量 ：

个人进行了推导。

首先用到了以下公式：

                               

推到过程：

以下表示数据为例：

即可以写成：

运用正规方程方法求解参数：

在 Octave 中，正规方程写作：
pinv(X'*X)*X'*y

注：对于那些不可逆的矩阵（通常是因为特征之间不独立，如同时包含英尺为单位的尺
寸和米为单位的尺寸两个特征，也有可能是特征数量大于训练集的数量），正规方程方法是
不能用的。
梯度下降与正规方程的比较：

只要特征变量的数目并不大，正规方程是一个很好的计算参数的替代方法。
具体地说，只要特征变量数量小于一万，通常使用正规方程方程法，而不使用梯度下降法。