40、广义线性模型全面解析

广义线性模型全面解析

1. 指数族的极大似然估计（MLE）

指数族模型的似然函数具有特定形式：
[p(D|\eta) = \left[\prod_{n=1}^{N} h(y_n)\right] \exp\left(\eta^{\top}\left[\sum_{n=1}^{N} t(y_n)\right] - N A(\eta)\right) \propto \exp\left(\eta^{\top} t(D) - N A(\eta)\right)]
其中 (t(D)) 是充分统计量：
[t(D) = \left[\sum_{n=1}^{N} t_1(y_n), \ldots, \sum_{n=1}^{N} t_K(y_n)\right]]
例如，对于伯努利模型，(t(D) = \left[\sum_{n} I (y_n = 1)\right])；对于单变量高斯分布，(t(D) = \left[\sum_{n} y_n, \sum_{n} y_n^2\right])。

Pitman - Koopman - Darmois 定理指出，在一定的正则条件下，指数族是唯一具有有限充分统计量的分布族。

对数似然函数为：
[\log p(D|\eta) = \eta^{\top} t(D) - N A(\eta) + \text{const}]
由于 (-A(\eta)) 关于 (\eta) 是凹函数，(\eta^{\top} t(D)) 关于 (\eta) 是线性函数，所以对数似然函数是凹函数，有唯一的全局最大值。通过令梯度为零，得到在 MLE 处，充分统计量的经验平均值必须等于模型的理论期望充分统计量，即：
[E [t(