多元回归中的最大似然和最小二乘估计

$\qquad$多元回归中的最大似然和最小二乘估计

1. 最大似然估计

$\quad$最大似然估计：对于因变量$Y$，最大似然估计就是去找到$Y$的参数估计值$\theta$ ，使其发生概率最大,利用已知的样本结果，反推最有可能（最大概率）导致这样结果的参数值。

$\quad$函数$Y$中的自变量是相互独立，变量发生的概率联合分布可以写作当个边际分布的乘积，我们通常最大化的似然函数：

$$\Lambda(\theta )= \prod_{i=1}^{N}f(y_{i}:\theta)$$

$\quad$也就是联合所有的y的取值，所有 N 个变量发生概率乘积.
$\quad$ $\prod_{i=1}^{N}$为乘积算子，用乘积计算往往造成大量计算上的困难,概率乘积得到的结果会越来越小，有可能超过计算机可以计算的最小值，即数值下溢现象
通过取其对数函数：

$$ln[ \Lambda(\theta )]= \lambda [\theta]$$

在独立同分布前提下，$\Lambda(\theta )$ 写作:

$$\lambda (\theta )=ln[\prod_{i=1}^{N} f(y:\theta) ]=\sum_{i=1}^{N}ln[f(y:\theta )]$$

$\quad$$\theta$ 的解被称之为最大似然估计量(Maximum Likehood Estimator,MLE)
记为 $\hat{\theta }$它的值被称作最大似然估计值

在正态分布中

$$\lambda (\mu )=\sum_{i=1}^{N}ln[\frac{1}{\sqrt{2\pi \sigma ^{2}}}e^{\frac{-(y-\mu)^{2}}{\sigma ^{2}}}]$$
$$=-N\cdot\ln\sqrt{2\pi\sigma ^{2}} \quad-\quad\frac{1}{2\sigma ^{2}}\sum_{i=1}^{N}(y-\mu)^{2}$$

$\quad\quad$此处 y为观察值，

$$-N(ln\sqrt{2\pi\sigma ^{2}})$$
$\quad$不依赖于y,暂时不予考虑.
$\quad$$-\frac{1}{2\sigma ^{2}}$作为参数因子,因为假设$\sigma ^{2}$ 已知，暂时也忽略.

$\quad$对数似然的最重要部分是:

$$-\sum_{i=1}^{N}(y-\mu)^{2}$$

$\quad$最大似然的最大值等价求解于最小二乘求解的最小值。
所以这所谓的高斯-马尔可夫定理(Gauss-Markov Assumptions)

对上式关于$\mu$ 的一阶导 使之等于0，求此时 $\mu$的值

$$\frac{\vartheta }{\vartheta _{\mu}}[-\sum_{i=1}^{N}(y-\mu)^{2}]=2\sum_{i=1}^{N}y -2N\cdot\mu$$

得到$\mu$的最大似然估计量：

$$\hat{\mu}=\frac{\sum_{i=1}^{N}y}{N}$$
二阶导:

$$\frac{\vartheta^{{2}} }{\vartheta _{\mu}}=-\frac{1}{2\sigma ^{2}}2N=-\frac{N}{\sigma ^{2}}$$

$\quad$因为$-\frac{N}{\sigma ^{2}}$总是小于0 ，所以我们求得的解为最大值.
$\quad$高斯密度函数有两个参数，即期望和方差，有时我们也需要获得最大似然关于方差这个估计量,也可以通过求二阶导来完成.
$\quad$对于多元函数来讲,$\mu=X\beta$ 中的$\mu$表示其中N 个自变量的期望，也就是$N\times 1$维向量，$\beta$为$p \times 1$参数向量，我们通过相似的方法求最大似然解:

$$\lambda (\beta )=-N(ln\sqrt{2\pi\sigma ^{2}})-\frac{1}{2\sigma ^{2}}\sum_{i=1}^{N}(y-x_{i}\beta)^{2}$$
对于某一个变量上的参数，其偏导为

$$\vartheta \frac{\lambda (\beta )}{\vartheta \beta_{k}}=\frac{\sum_{i=1}^{N}(y_{i}-x_{i}\beta)}{\sigma ^{2}}$$

得到最大似然解:

$$\hat\beta=(X{}’X)^{-1}X{}'Y$$

如果熟悉回归方程系数的话，你会发现：

$$\hat\beta=\frac{X{}'Y}{(X{}'X)^{-1}}=\frac{cov(X,Y)}{{ var(X)}}=\frac{\sum (x-\overline{}\mu_{x})\cdot(y-\overline{}\mu_{y}) }{var(x)}$$

其二阶导数为

$$\frac{\vartheta ^{2}\lambda (\beta)}{\vartheta \beta \vartheta \beta}=-\frac{X{}'X}{\sigma ^{2}}$$
$\quad$因为 $X{}’X$ 是一个正定矩阵 ，$\frac{1}{\sigma ^{2}}$也必须是正值。所以二阶导数的矩阵是负定，也就告诉我们，所求解的这个多元回归是 方程最大值。
$\quad$也就是说，最小二乘法假设建立的关于参数的函数（方程）是正确的，通过降低模型与真实值之间的（欧式）距离得到目的，函数是关于方程模型取值与真实值之差，最小的时参数的取值。最大似然是假设变量最有可能发生的时候，此时参数的取值。度量的是经验的概率分布与模型的概率分布之间的差异，即Kullback-Leibler divergence,KL散度，或者相对熵，严格来说不是距离，因为二者是不具备对乘关系。