机器学习线性模型(2)

我们已经知道如何使用线性模型进行回归学习，如果要做分类任务呢？

广义线性模型：$y=g^{-1}(\mathbf{w}^T\mathbf{x}+b)$

现在只需找到一个单调可微函数$g^{-1}$将分类任务的真实标记$y$与线性回归模型的预测值$\mathbf{w}^T\mathbf{x}+b$联系起来.

考虑二分类任务，$y\in\{0,1\}$,$z=\mathbf{w}^T\mathbf{x}+b$ 是实值，将实值z转化微0/1值，最理想的是单位跃进函数

$$y = \begin{cases} 0, & \text{$z<0$} \\ 0.5, & \text{$z=0$}\\ 1, & \text{$z>0$} \end{cases}$$
但是单位跃进函数不连续，不是我们要找的$g^{-1}$，所以要找一个在一定程度上近似单位跃进函数的单调可微的函数，就是对数几率函数(logistic function)
$$y={1\over 1+e^{-z}}$$

从图中可以看到，对数几率函数是一种sigmoid函数(形似S的函数)

将对数几率函数作为$g^{-1}$，得到

$$y={1\over 1+e^{-(\mathbf{w}^T\mathbf{x}+b)}}————————(1)$$
做变换后：
$$ln{y \over 1-y}=\mathbf{w}^T\mathbf{x}+b————————(2)$$

若将y视作x作为正例的可能性，则1-y是x作为反例的可能性，${y \over 1-y}$称作几率，$ln{y \over 1-y}$称为对数几率

可以看出式(2)是在用线性回归模型的预测结果去逼近真实标记y的对数几率，对应的模型叫对数几率回归模型(logistic regression)， 注意：它实际是一种分类学习方法。

如何来确定(1)式中的$\mathbf{w}$和b？将y视为类后验概率估计$p(y=1|x)$，得到下式：

$$ln{p(y=1|x) \over p(y=0|x) }=\mathbf{w}^T\mathbf{x}+b$$
$$\Rightarrow {p(y=1|x) \over 1-p(y=1|x) }=e^{\mathbf{w}^T\mathbf{x}+b}$$
$$\Rightarrow {p(y=1|x) }={e^{\mathbf{w}^T\mathbf{x}+b} \over e^{\mathbf{w}^T\mathbf{x}+b}+1}$$
显然， $$\Rightarrow {p(y=0|x) }={1\over e^{\mathbf{w}^T\mathbf{x}+b}+1}$$
于是，我们可以通过极大似然法来估计$\mathbf{w}$和b，给定数据集${(x_i,y_i)},i =1,2…,m$,对数几率回归模型最大化对数似然，即每个样本属于其真实标记的概率越大越好：
$$\mathcal{\ell}(\mathbf{w},b)=\sum_{i=1}^m lnp(y_i|x_i;\mathbf{w},b)$$
令：$\beta=(\mathbf{w};b)$，$\hat{x}=(x;1)$，故$\mathbf{w}^T\mathbf{x}+b=\beta^T\hat{x}$
令: $p_1(\hat{x};\beta)={p(y=1|\hat{x};\beta)}$,$p_0(\hat{x};\beta)={p(y=0|\hat{x};\beta)}$

似然项可以重写为：

$$p(y_i|\mathbf{x_i};\mathbf{w},b)=y_ip_1(\hat{x};\beta)+(1-y_i)p_0(\hat{x};\beta)$$
$$=y_i{e^{\beta^T\hat{x}} \over e^{\beta^T\hat{x}}+1}+(1-y_i){1\over e^{\beta^T\hat{x}}+1}$$
$$={1+y_ie^{\beta^T\hat{x}}-y_i \over e^{\beta^T\hat{x}}+1}$$
对上式取对数
$$ln(1+y_ie^{\beta^T\hat{x}}-y_i )-ln( e^{\beta^T\hat{x}}+1)$$
因为$y_i \in \{0,1\}$，所以上式的第一项要么为0，要么为$\beta^T\hat{x}$,故上边的最大化式等价于下面这个最小化式

$$\mathcal{\ell}(\beta)=\sum_{i=1}^m (-y_i\beta^T\hat{x}+ln( e^{\beta^T\hat{x}}+1))$$

利用经典的数值优化算法如梯度下降、牛顿法都可以得到上式最优解。

$$\beta^*=\arg\min_{\beta}\mathcal{l}(\beta)$$

---

线性判别分析(LDA)也称为Fisher判别分析

思想：给定训练样例集，设法将样例投影到一条直线上，使类内方差最小，类间方差最大，使分类效果最好。

给定数据集${(x_i,y_i)},i =1,2…,m$,$y_i \in \{0,1\}$，令$X_i,\mu_i,\Sigma_i$分别表示第$i \in \{0,1\}$类示例的集合、均值向量、协方差矩阵。

则两类样本的中心在直线上的投影分别为：$w^T\mu_0$和$w^T\mu_1$

两类样本的协方差分别为：$w^T\Sigma_0w$和$w^T\Sigma_1w$

使同类样例投影点尽可能近，可以让同类样例投影点的协方差尽可能小，即$w^T\Sigma_0w+w^T\Sigma_1w$尽可能小。

使异类样例的投影点尽可能远，可以让类中心之间的距离尽可能大，即$||w^T\mu_0-w^T\mu_1||^2$尽可能大。

所以我们的目标是最大化下式：

$$J={{||w^T\mu_0-w^T\mu_1||^2} \over {w^T\Sigma_0w+w^T\Sigma_1w}}$$
$$={{w^T(\mu_0-\mu_1)(\mu_0-\mu_1)^Tw} \over {w^T(\Sigma_0+\Sigma_1)w}}$$

定义类内散度矩阵$S_w$:

$$S_w=\Sigma_0+\Sigma_1=\sum_{x\in X_0} (x-\mu_0)(x-\mu_0)^T+\sum_{x\in X_1} (x-\mu_1)(x-\mu_1)^T$$
定义类间散度矩阵$S_b$:
$$S_b=(\mu_0-\mu_1)(\mu_0-\mu_1)^T$$
所以J可以重写为：
$$J=={{w^TS_bw} \over {w^TS_ww}}$$

这就是LDA要最大化的目标，即$S_b$与$S_w$的广义瑞利商。
可以看到，上式分子分母都是w的二次项，所以解与w的长度无关，只与其方向有关，不失一般性，令$w^TS_ww=1$,则上式等价于

$$\min_w \ -w^TS_bw\\ s.t. \ \ \ \ w^TS_ww=1$$

由拉格朗日乘子法，上式等价于：

$$S_bw=\lambda S_ww$$
$S_bw=(\mu_0-\mu_1)(\mu_0-\mu_1)^Tw$,其中$(\mu_0-\mu_1)^Tw$是一个标量，所以$S_bw$的方向恒为$\mu_0-\mu_1$,故有：$S_bw=\lambda(\mu_0-\mu_1)$.

所以可以得到：$w=S_w^{-1}(\mu_0-\mu_1)$

当两类数据同先验，满足高斯分布且协方差相等时，LDA可以达到最优分类！

LDA推广到多分类任务中，emmmmm以后再看吧