Andrew NG 《machine learning》week 2,class3 —Computing Parameter Analytically

Andrew NG 《machine learning》week 2,class3 —Computing Parameter Analytically

3.1 Normal Equation

在某些算法中，用正规方程求解thera参数的最优解是较为方便的。对于一维的二次方程，可以用微积分的方法求出导数为0的点就是最值点，但是对于n+1维的参数向量来说，求偏导已经不容易了。对于有多个特征变量（多个x的函数），可以使用向量或者矩阵的方法来表示。

那么，对于已经用向量或者矩阵表示的函数，可以通过正规方程的方法求出参数threa的最优值。求解表达式如下图：

Note：之前用梯度下降算法求解参数的时候，讲到特征变量归一化的要求，但是对于正规方程来说，就不需要特征变量归一化了。
两种求解最优参数的方法对比如下：

3.2 Normal Equation Noninvertibility

对于求某个矩阵的逆的时候，可能会存在说不可逆的情况，所以就会导致正规方程的不可逆。即使不可逆，但是在Octave中的pinv命令还是会计算出结果。