多元线性回归模型（multivariable linear regression model）

    我们有n个样本$x^i, i \in \{ 1,2, \cdots ,n\}$，并且我们知道每个样本对应的输出值$y^i,i \in \{1,2, \cdots , n\}$。我们希望能够

$$Find~~f( \cdot ) ~~s.t.~~y^i=f(x^i)$$ 这样每当有一个新的观测 $x$到来，我们便可通过函数 $f( \cdot )$，预测出 $x$对应的输出 $\hat y$。

    能够在已有所有样本上，使$y^i$严格等于$f(x^i)$的函数$f(\cdot)$的预测效果并不一定那么好。因为

1. $x^i$中很可能未包含所有影响$y^i$值的特征。
2. $x^i$观测到的值很可能有观测误差。

所以，我们转而

$$Find~~f(\cdot)~~s.t.~~y^i=f(x^i)+\varepsilon^i$$ 其中 $\varepsilon^i$是随机噪声。
    多元线性回归模型就是在做一些假设基础上，利用所有样本数据 $x^i$来找到一个最优的 $f(\cdot)$。

假设

1. $y^i=\theta^T x^i + \varepsilon^i$，也就是要找到最优的$f(\cdot)$，只要确定最优的$\theta$就好了。
2. 噪声$\varepsilon ^i \sim N(0,{\delta ^2})$。
3. $\varepsilon^i$独立同分布。

    从假设2中我们可得到

$$y^i|x^i;\theta \sim N(\theta ^T x^i,\delta ^2)$$
    又根据假设3，我们可以使用最大似然法确定最优的 $\theta$:

maxmize  L(θ)=∏12π−−√σe(−(