线性回归(linear regression)的概率解释—使用极大似然估计推导线性回归问题

线性回归（linear regression）

什么是线性回归？

线性回归对一个或者多个自变量和因变量之间的关系进行建模的一种回归分析，线性回归模型应用于有监督的回归问题。
线性回归模型为：$y^{(i)}={\Theta }^T\times x^{(i)}+{\epsilon }^{(i)}$
其中 $ϵ$ 代表偏差项（error term）

关于 $ϵ$ 的假设？

若对一个问题建立线性回归模型进行求解，其 $ϵ$ 需满足以下两个假设：
1.独立的，即 $ϵ$ 之间互不影响，相互独立。
2.同分布，即 $ϵ$ 之间满足相同的分布（对于线性回归满足高斯分布，对于逻辑斯蒂回归满足伯努利分布）。

推导过程

假设 $ϵ$ 满足均值为0，标准差为 $\sigma$ 的高斯分布；即 $\epsilon \sim (0,{\sigma }^2)$。则：

$P({\epsilon }^{(i)})=\frac{1}{2\pi \sigma }exp(-2{\sigma }^2$