梯度下降和Normal Equation的比较

梯度下降和Normal Equation的比较

Normal Equation是一种基础的最小二乘方法
推导：https://zhuanlan.zhihu.com/p/22757336

梯度下降	Normal Equation
需要选择学习率	不需要选择学习率
需要很多次迭代	不需要很多次迭代
复杂度低 $O(k{n}^2)$	复杂度高 $O(n^3)$
当$n$很大时高效	当$n$很大时低效

Normal Equation 不可逆的情况下

在Matlab/Octave中 pinv 和inv 公式相比较，前者会给出值即使是不可逆。不可逆的原因有两个：

• 冗余的特征
  当两个特征特别相关（线性相关），比方说x1为平方米，x2为平方尺。
• 过多特征（m<n）
  采取删除一些特征或者使用正则化。