最大似然估计

在线性回归中，最大似然估计（Maximum Likelihood Estimation,
MLE）是一种通过观测数据估计模型参数的常用方法，其核心思想是找到使得观测数据出现概率最大的参数值。以下从模型设定、概率假设、似然函数构建、参数求解及与最小二乘法的联系等方面详细介绍：

一、线性回归模型设定

考虑多元线性回归模型，设自变量矩阵为 $\mathbf{X}\in {\mathbb{R}}^{n\times p}$（$n$ 为样本数，$p$ 为特征数），因变量为 $\mathbf{y}\in {\mathbb{R}}^n$，模型可表示为：
$$\mathbf{y}=\mathbf{X}\mathbf{\beta }+\mathbf{ϵ}$$
其中 $\mathbf{\beta }\in {\mathbb{R}}^p$ 是待估参数（包含截距项），$\mathbf{ϵ}\in {\mathbb{R}}^n$ 是误差项向量。

二、误差项的概率假设

最大似然估计的关键是对误差项 $\mathbf{ϵ}$ 的分布作出假设。在线性回归中，通常假设：

1. 独立同分布（i.i.d.）：每个样本的误差相互独立且服从相同分布；
2. 正态分布：$\mathbf{ϵ}\sim \mathcal{N}(0,{\sigma }^2\mathbf{I})$，即误差服从均值为 0、方差为 ${\sigma }^2$ 的正态分布。

根据模型 $\mathbf{y}=\mathbf{X}\mathbf{\beta }+\mathbf{ϵ}$，可得因变量 $\mathbf{y}$ 的条件分布为：
$$\mathbf{y}\mid \mathbf{X},\mathbf{\beta },{\sigma }^2\sim \mathcal{N}(\mathbf{X}\mathbf{\beta },{\sigma }^2\mathbf{I})$$
即给定 $\mathbf{X}$ 和参数 $\mathbf{\beta },{\sigma }^2$，$\mathbf{y}$ 服从均值为 $\mathbf{X}\mathbf{\beta }$、协方差矩阵为 ${\sigma }^2\mathbf{I}$ 的多元正态分布。

三、构建似然函数与对数似然函数

1. 似然函数（Likelihood Function）

对于独立同分布的样本，似然函数是观测数据 $\mathbf{y}$ 关于参数 $\mathbf{\beta },{\sigma }^2$ 的联合概率密度函数：
$$L(\mathbf{\beta },{\sigma }^2;\mathbf{X},\mathbf{y})=\prod _{i=1}^n\frac{1}{\sqrt{2\pi {\sigma }^2}}\exp \left(-\frac{(y_i-{\mathbf{X}}_i\mathbf{\beta }{)}^2}{2{\sigma }^2}\right)$$
其中 ${\mathbf{X}}_i$ 是 $\mathbf{X}$ 的第 $i$ 行，对应第 $i$ 个样本的自变量向量。

2. 对数似然函数（Log-Likelihood Function）

为简化计算，对似然函数取对数，得到对数似然函数：
$$\ln L(\mathbf{\beta },{\sigma }^2)=-\frac{n}{2}\ln (2\pi )-\frac{n}{2}\ln {\sigma }^2-\frac{1}{2{\sigma }^2}\sum _{i=1}^n(y_i-{\mathbf{X}}_i\mathbf{\beta }{)}^2$$
最大化对数似然函数等价于最大化似然函数（因对数函数是单调递增函数）。

四、参数求解：最大化对数似然函数

我们需要同时估计 $\mathbf{\beta }$ 和 ${\sigma }^2$，分两步进行：

1. 求解 $\mathbf{\beta }$（固定 ${\sigma }^2$）

观察对数似然函数，第二项和第三项包含 $\mathbf{\beta }$。忽略与 $\mathbf{\beta }$ 无关的常数项，最大化目标可简化为最小化：
$$\frac{1}{2{\sigma }^2}\sum _{i=1}^n(y_i-{\mathbf{X}}_i\mathbf{\beta }{)}^2$$
由于 ${\sigma }^2>0$ 是常数，最小化上式等价于最小化误差平方和（SSE）：
$$SSE(\mathbf{\beta })=\sum _{i=1}^n(y_i-{\mathbf{X}}_i\mathbf{\beta }{)}^2=(\mathbf{y}-\mathbf{X}\mathbf{\beta }{)}^T(\mathbf{y}-\mathbf{X}\mathbf{\beta })$$
对 $\mathbf{\beta }$ 求偏导并令导数为零：
$$\frac{\partial SSE}{\partial \mathbf{\beta }}=-2{\mathbf{X}}^T(\mathbf{y}-\mathbf{X}\mathbf{\beta })=0$$
解得 正规方程（Normal Equation）：
$${\mathbf{X}}^T\mathbf{X}\mathbf{\beta }={\mathbf{X}}^T\mathbf{y}$$
当 ${\mathbf{X}}^T\mathbf{X}$ 可逆时，参数估计为：
$${\hat{\mathbf{\beta }}}_{\text{MLE}}=({\mathbf{X}}^T\mathbf{X}{)}^{-1}{\mathbf{X}}^T\mathbf{y}$$
这与最小二乘法（OLS）的估计结果完全一致，说明在正态分布假设下，MLE与OLS等价。

2. 求解 ${\sigma }^2$（固定 $\mathbf{\beta }=\hat{\mathbf{\beta }}$）

将 $\hat{\mathbf{\beta }}$ 代入对数似然函数，对 ${\sigma }^2$ 求导并令导数为零：
$$\frac{\partial \ln L}{\partial {\sigma }^2}=-\frac{n}{2{\sigma }^2}+\frac{1}{2({\sigma }^2{)}^2}(\mathbf{y}-\mathbf{X}\hat{\mathbf{\beta }}{)}^T(\mathbf{y}-\mathbf{X}\hat{\mathbf{\beta }})=0$$
解得方差的MLE为：
$${\hat{\sigma }}_{\text{MLE}}^2=\frac{1}{n}(\mathbf{y}-\mathbf{X}\hat{\mathbf{\beta }}{)}^T(\mathbf{y}-\mathbf{X}\hat{\mathbf{\beta }})=\frac{SSE}{n}$$
注意：这是有偏估计，无偏估计为 ${\hat{\sigma }}_{\text{OLS}}^2=\frac{SSE}{n-p}$，两者区别在于分母自由度。

五、MLE的性质与意义

1. 一致性：当样本量 $n\to \infty$ 时，${\hat{\mathbf{\beta }}}_{\text{MLE}}$ 依概率收敛于真实参数 $\mathbf{\beta }$。
2. 渐近正态性：在正则条件下，MLE渐近服从正态分布：
   $${\hat{\mathbf{\beta }}}_{\text{MLE}}\sim \mathcal{N}\left(\mathbf{\beta },{\sigma }^2({\mathbf{X}}^T\mathbf{X}{)}^{-1}\right)$$
3. 与OLS的等价性：仅当误差服从正态分布时，MLE与OLS结果一致；若误差非正态，OLS仍可使用，但MLE需基于真实分布假设。
4. 概率解释：MLE通过最大化数据出现的概率来估计参数，相比OLS更具统计推断意义（如构造置信区间、假设检验）。

六、总结

线性回归中的最大似然估计通过假设误差服从正态分布，将参数估计转化为最大化数据的联合概率问题。其核心步骤包括：

1. 设定线性模型与误差分布；
2. 构建似然函数并转换为对数形式；
3. 对参数求导并解正规方程；
4. 得到参数估计（与OLS结果一致）。

MLE不仅提供了参数估计方法，还为线性回归的统计推断（如t检验、F检验）奠定了理论基础，是连接回归模型与概率统计的重要桥梁。