浅析广义线性模型（举例线性回归和对数几率回归）

---

通用形式

简介

​ 广义线性模型（Generalized Linear Model），将线性模型通过联结函数（link function）联结线性预测值（linear prediction）（即线性模型的直接输出）和期望输出值（expected value）[1].[2]；通过寻找因变量（dependent variables）所属的指数族分布（exponential family distribution），建立合适联结函数，将线性模型的输出映射到期望输出，损失函数通常是指数族分布的似然函数（likelihood function）[1].[2].[3]；即采用极大似然函数求取损失函数。
$$\begin{array}{rl}LM:& \hat{y}=W^{\top }X+ϵ\\ GLM:& \hat{y}=g(W^{\top }X+ϵ)\end{array}$$
​ 可采用一对一（One Versus One）、一对多（One Versus Rest）、归一化指数函数（softmax function）等策略转变为多分类问题[1].[4]。
$$softmax:S_i=\frac{\exp z_i}{{\sum }_{j=1}^n\exp z_j}$$
​ 广义线性模型由于使用了联结函数，所以对数据分布有假设（指数族分布）；所以可进行一定的预处理使数据分布更符合指数族分布，有助于提高模型得分（model score）[4]。

​ 对比极大似然估计（Maximum Likelihood Estimate, MLE）本质，可知广义线性模型和极大似然估计都有假设，且进行逐点估计（point-wise estimate），因此[10]；
$$\begin{array}{rl}posterior& =likelihood\ast prior/evidence\\ MLE:P(\alpha \mid y)& =P(y\mid \alpha )\ast P(\alpha )/P(y)\\ & =L(\alpha \mid y)\ast P(\alpha )/P(y)\\ L(\alpha \mid y)& =\underset{\alpha }{\max }\sum _i\ln p(y_i|\alpha )\end{array}$$

---

重要概念

​ 属性：参数模型（parametric models）、监督学习（supervised learning）、判别模型（discriminant model）、支持核方法（kernel methods）、面试常考。

​ 求解：使用指数族分布的似然损失函数计算经验风险（empirical risk），可加入正则化项（normalization term）计算结构风险（structural risk）：凸函数证明后1.进行凸优化（convex optimization），2.使用梯度下降方法，包括随机梯度下降（Stochastic Gradient Descent）、牛顿法（Newton method）。

​ 扩展：广义线性模型无法解决非线性模型问题，可引入核方法；线性回归正则化的三种形式；对数几率回归扩展到多元回归（softmax regression）。

---

指数族分布

指数族分布是指概率密度函数（probability density function）满足下面分布公式[2].[3].[5]：
$$\begin{array}{rl}& f(y;\theta ,\varphi )=A(\varphi )\exp [\frac{y\cdot \theta -B(\theta )}{\varphi }-C(y,\varphi )]\\ & X\beta =g(\mu )\\ define:& \theta :自然实参;\varphi :离散实参\\ & A:单参实函;B:单参实函;C:双参实函\\ & g:联结函数\end{array}$$
举例：高斯分布（$x\sim N(\mu ,{\sigma }^2)$），也是线性回归中$ϵ$的假设分布（假设数据沿真实回归线左右呈高斯分布），故可知：设分布方差$\sigma$对线性回归参数不干扰[2].[3].[5]
$$\begin{array}{rl}概率密度函数:f_g(x;\mu ,{\sigma }^2)& =\frac{1}{\sigma \sqrt{2\pi }}\exp (-\frac{(x-\mu {)}^2}{2{\sigma }^2})\\ 指数族分布：f(y;\theta ,\varphi )& =A(\varphi )\exp [\frac{y\cdot \theta -B(\theta )}{\varphi }-C(y,\varphi )]\\ f_g(x;\mu ,{\sigma }^2)& =\frac{1}{\sigma \sqrt{2\pi }}\exp [-2\frac{x\cdot \mu -\frac{1}{2}{\mu }^2}{{\sigma }^2}-x^2{\sigma }^2]\\ 联结函数：g(\mu )& =X\beta =\mu \end{array}$$

---

线性回归

线性回归作为最简单的广义线性模型，本身拥有以下假设：为什么线性回归中 要将自变量设定为非随机变量？伍德里奇的导论好像是设为非随机变量的，