线性回归的损失函数为什么使用最小化均方误差

1. 最小二乘问题的定义：
   没有约束条件，目标函数是若干二次项的和，每一项的形式如$a_i^Tx - b_i$,具体形式如下：
   $$minimize \quad f(x) = \sum_{i=1}^{k}(a_i^Tx - b_i)^2$$
   其中，$A \in \Re^{k*n},a_i^T$是A的行向量，向量$x \in \Re^n$是优化变量
   最优解是$x = (A^TA)^{-1}A^TB$ （求解过程见上一篇博文）
2. 线性回归的损失函数costfunction
   在线性回归问题中，假设模型为$h(\theta) = x^T\theta + b$，其中$x$为输入，b为偏置项;
3. 损失函数的由来
   假设模型$h(\theta)$与实际值$y$误差$\epsilon$服从正态分布(根据中心极限定理，多种未考虑到的其他因素的和符合正太分布)，即:
   $$h(\theta) - y = \epsilon \in N(0,\sigma^2)\\ $$
   则根据输入样本$x_i$可以计算出误差$\epsilon_i$的概率为：
   $$p(\epsilon_i) = \frac{1}{\sqrt{2\pi}\sigma}exp^{- \frac{ \epsilon_i^2}{2\sigma^2}}$$
   则可以得出似然公式：
   $$l(\theta) =\prod_{i=1}^mp(\epsilon_i)$$
   其中m为样本总数。则有以上公式可以写出log最大似然，即对$l(\theta)$整体取log，则：
   $$\begin{align*} L(\theta) &=logl(\theta) \\ &= log( \prod_{i=1}^mp(\epsilon_i))\\ &=mlog\frac{1}{\sqrt{2\pi}\sigma} + \sum_{i}^{m}(- \frac{\epsilon_i^2}{2\sigma^2})\\ \end{align*}$$
   则最大化似然公式$L(\theta)$相当于最小化$f(\theta) = \frac{1}{2}\sum_{i}^{m}\epsilon_i^2= \frac{1}{2}\sum_{i}^{m}(x_i^T\theta - y_i)^2$,则变换为最小二乘问题。