极大似然估计解释最小二乘

数据集$\ D=\{x_i, y_i\}$, 该数据集的样本容量为$m$。 通过最小二乘法拟合得到

$$\theta^*= \mathop{argmin}\limits_{\theta}\sum_{i=1}^m(y_i-\theta^Tx_i)^2$$

极大似然估计： $\forall i,y_i=\theta^Tx_i+\epsilon$, 其中根据中心极限定理，假设 $\epsilon \sim N(0, \sigma^2)$

$$p(\epsilon)=\frac{1}{\sqrt{2\pi}\sigma}exp(-\frac{\epsilon^2}{2\sigma^2})$$
似然函数
$$\begin{align*} L(\theta) &= \prod_{i=1}^mp(y_i|x_i, \theta) \\ &= \prod_{i=1}^m\frac{1}{\sqrt{2\pi}\sigma}exp(-\frac{(y_i-\theta^Tx_i)^2}{2\sigma^2}) \end{align*}$$
取对数
$$\begin{align*} l(\theta) &= \sum_{i=1}^mlnp(y_i|x_i, \theta) \\ &=\sum_{i=1}^mln\frac{1}{\sqrt{2\pi}\sigma}exp(-\frac{(y_i-\theta^Tx_i)^2}{2\sigma^2})\\ &=mln\frac{1}{\sqrt{2\pi}\sigma} -\frac{1}{2\sigma^2}\sum_{i=1}^m(y_i-\theta^Tx_i)^2 \end{align*}$$
同时，最小二乘拟合的目标函数：
$$J(\theta)=\sum_{i=1}^m(y_i-\theta^Tx_i)^2$$
所以 $$\mathop{argmax}\limits_{\theta}\ l(\theta)= \mathop{argmin}\limits_{\theta}\ J(\theta)$$

也就是说，最小二乘法本身已经假设了数据具有高斯噪声。