《机器学习》阅读笔记（三）

《机器学习》阅读笔记（三）

3 线性模型(linear model)

3.1 基本形式

1. 设
   1. $d$：属性个数
   2. $\mathbf{x}=(x_1;x_2;\dots ;x_d)$：$x_i$是$\mathbf{x}$在第$i$个属性上的取值
   3. $\mathbf{w}=(w_1;w_2;\dots ;w_d)$
2. 表现形式
   1. 线性模型$$f(\mathbf{x})=w_1{x}_1+w_2{x}_2+\cdots +w_d{x}_d+b$$
   2. 向量形式$$f(\mathbf{x})={\mathbf{w}}^{\mathrm{T}}\mathbf{x}+b$$

3.2 线性回归(linear regression)

1. 给定
   1. D = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , … , ( x m , y m ) } D=\{(\boldsymbol{x}_1,y_1),(\boldsymbol{x}_2,y_2),\dots,(\boldsymbol{x}_m,y_m)\} D={(x1​,y1​),(x2​,y2​),…,(xm​,ym​)}：数据集
   2. ${\mathbf{x}}_i=(x_{i1};x_{i2};\dots ;x_{id})$
   3. $y_i\in \mathbb{R}$

属性个数	1	$d$ （多元线性回归(multivariate linear regression)）
试图学得	$$f(x_i)=w{x}_i+b，使得f(x_i)\simeq y_i$$	$$f({\mathbf{x}}_i)={\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_i+b，使得f({\mathbf{x}}_i)\simeq y_i$$
性能度量	均方误差（欧式距离）$$\begin{gathered} (w^{\ast },b^{\ast })=\underset{(w,b)}{\mathrm{argmin}}\sum _{i=1}^m(f(x_i)-y_i{)}^2 \\ =\underset{(w,b)}{\mathrm{argmin}}\sum _{i=1}^m(y_i-w_i{x}_i-b{)}^2 \end{gathered}$$	令 1. $\hat{\mathbf{w}}=(\mathbf{w};b)$ 2. $\mathbf{X}$：表示数据集$D$，大小为$m\times (d+1)$的矩阵$$\mathbf{X}=\left(\begin{array}{ccccc}{x}_{11}& x_{12}& \dots & x_{1d}& 1\\ x_{21}& x_{22}& \dots & x_{2d}& 1\\ ⋮& ⋮& \ddots & ⋮& ⋮\\ x_{m1}& x_{m2}& \dots & x_{md}& 1\end{array}\right)=\left(\begin{array}{cc}{\mathbf{x}}_1^{\mathrm{T}}& 1\\ {\mathbf{x}}_2^{\mathrm{T}}& 1\\ ⋮& ⋮\\ {\mathbf{x}}_m^{\mathrm{T}}& 1\end{array}\right)$$ 3. $\mathbf{y}=(y_1;y_2;\dots ;y_m)$ 则${\hat{\mathbf{w}}}^{\ast }=\underset{\hat{\mathbf{w}}}{\mathrm{argmin}}(\mathbf{y}-\mathbf{X}\hat{\mathbf{w}}{)}^{\mathrm{T}}(\mathbf{y}-\mathbf{X}\hat{\mathbf{w}})$
均方误差	$E_{(w,b)}={\sum }_{i=1}^m(y_i-w_i{x}_i-b)$	$$E_{\hat{\mathbf{w}}}=(\mathbf{y}-\mathbf{X}\hat{\mathbf{w}}{)}^{\mathrm{T}}(\mathbf{y}-\mathbf{X}\hat{\mathbf{w}})$$
求导	$$\frac{\partial E_{(w,b)}}{\partial w}=2(w\sum _{i=1}^m{x}_i^2-\sum _{i=1}^m(y_i-b)x_i)$$$$\frac{\partial E_{(w,b)}}{\partial b}=2(mb-\sum _{i=1}^m(y_i-w{x}_i))$$	$$\frac{\partial E_{\hat{\mathbf{w}}}}{\partial \hat{\mathbf{w}}}=2{\mathbf{X}}^{\mathrm{T}}(\mathbf{X}\hat{\mathbf{w}}-\mathbf{y})$$
令偏导为0 求得最优解的闭式解	$$w=\frac{\sum _{i=1}^m{y}_i(x_i-\overline{x})}{\sum _{i=1}^m{x}_i^2-\frac{1}{m}(\sum _{i=1}^m{x}_i{)}^2}$$$$b=\frac{1}{m}\sum _{i=1}^m(y_i-w{x}_i)$$其中$\overline{x}=\frac{1}{m}\sum _{i=1}^m{x}_i$	（当${\mathbf{X}}^{\mathrm{T}}\mathbf{X}$为满秩矩阵或正定矩阵时）$${\hat{\mathbf{w}}}^{\ast }=({\mathbf{X}}^{\mathrm{T}}\mathbf{X}{)}^{-1}{\mathbf{X}}^{\mathrm{T}}\mathbf{y}$$
模型	$f(x_i)=x_i^{\mathrm{T}}w+b$	令${\hat{\mathbf{x}}}_i=({\mathbf{x}}_i;1)$，则 $$f({\hat{\mathbf{x}}}_i)={\hat{\mathbf{x}}}_i^{\mathrm{T}}({\mathbf{X}}^{\mathrm{T}}\mathbf{X}{)}^{-1}{\mathbf{X}}^{\mathrm{T}}\mathbf{y}$$

名称	模型	注
线性回归模型	$$y={\mathbf{w}}^{\mathrm{T}}\mathbf{x}+b$$	-
对数线性回归	$$\ln y={\mathbf{w}}^{\mathrm{T}}\mathbf{x}+b$$	-
广义线性模型	$$y=g^{-1}({\mathbf{w}}^{\mathrm{T}}\mathbf{x}+b)$$	$g(\cdot )$：“联系函数”(link function)（单调可微函数）

3.3 对数几率回归(logistic function)

函数	名称	描述
$$y=\frac{1}{1+e^{-z}}$$	对数几率回归 （对率回归）	一种“Sigmoid函数”
$$y=\frac{1}{1+e^{-({\mathbf{w}}^{\mathrm{T}}\mathbf{x}+b)}}$$	-	-
$$\ln \frac{y}{1-y}={\mathbf{w}}^{\mathrm{T}}\mathbf{x}+b$$	几率(odds)	若将$y$视为样本$\mathbf{x}$作为正例的可能性，则$1-y$是其反例的可能性。反映了$\mathbf{x}$作为正例的相对可能性
$$\ln \frac{y}{1-y}$$	对数几率(log odds,logit)	对几率取对数

1. 若将$y$视为类后验概率估计$p(y=1|\mathbf{x})$，则公式可重写为
   $$\ln \frac{p(y=1|\mathbf{x})}{p(y=0|\mathbf{x})}={\mathbf{w}}^{\mathrm{T}}\mathbf{x}+b\Rightarrow \{\begin{array}{c}p(y=1|\mathbf{x})=\frac{e^{{\mathbf{w}}^{\mathrm{T}}\mathbf{x}+b}}{1+e^{{\mathbf{w}}^{\mathrm{T}}\mathbf{x}+b}}\\ p(y=0|\mathbf{x})=\frac{1}{1+e^{{\mathbf{w}}^{\mathrm{T}}\mathbf{x}+b}}\end{array}$$
2. 极大似然估计$\to$估计$\mathbf{w}$和$b$
   1. 数据集： { ( x i , y i ) } i = 1 m \{(\boldsymbol{x}_i,y_i)\}^m_{i=1} {(xi​,yi​)}i=1m​
   2. 对率回归模型最大化“对数似然”$$\ell (\mathbf{w},b)=\sum _{i=1}^m\ln p(y_i|{\mathbf{x}}_i;\mathbf{w},b)$$
   3. 令
      1. $\mathbf{\beta }=(\mathbf{w};b)$
      2. $\hat{\mathbf{x}}=(\mathbf{x};1)$
   4. 则${\mathbf{w}}^{\mathrm{T}}\mathbf{x}+b={\mathbf{\beta }}^{\mathrm{T}}\hat{\mathbf{x}}$
   5. 再令
      1. $p_1(\hat{\mathbf{x}};\mathbf{\beta })=p(y_i=1|\hat{\mathbf{x}};\mathbf{\beta })$
      2. $p_0(\hat{\mathbf{x}};\mathbf{\beta })=p(y_i=0|\hat{\mathbf{x}};\mathbf{\beta })=1-p_1(\hat{\mathbf{x}};\mathbf{\beta })$
   6. 则$$p(y_i|{\mathbf{x}}_i;\mathbf{w},b)=y_i{p}_1(\widehat{{\mathbf{x}}_i};\mathbf{\beta })+(1-y_i)p_0({\hat{\mathbf{x}}}_i;\mathbf{\beta })$$$$\ell (\mathbf{\beta })=\sum _{i=1}^m\left[\ln \right(y_i{e}^{{\mathbf{\beta }}^{\mathrm{T}}{\hat{\mathbf{x}}}_i}+(1-y_i))-\ln (1+e^{{\mathbf{\beta }}^{\mathrm{T}}{\hat{\mathbf{x}}}_i})]$$
   7. 考虑 y i ∈ { 0 , 1 } y_i\in\{0,1\} yi​∈{0,1}，等价于最小化$$\ell (\mathbf{\beta })=\sum _{i=1}^m(-y_i{\mathbf{\beta }}^{\mathrm{T}}{\hat{\mathbf{x}}}_i+\ln (1+e^{{\mathbf{\beta }}^{\mathrm{T}}{\hat{\mathbf{x}}}_i}))$$
   8. 求最优解（梯度下降法、牛顿法）$${\mathbf{\beta }}^{\ast }=\underset{\mathbf{\beta }}{\mathrm{argmin}}\ell (\mathbf{\beta })$$

3.4 线性判别分析(Linear Discriminant Analysis,LDA)

1. 二分类问题
2. 思想：
   1. 训练：给定数据集例集，设法将样例投影到一条直线上，使得
      1. 同类样例的投影点尽可能接近
      2. 异类样例的投影点尽可能远离
   2. 预测：在对新样本分类时，将其投影到同样的这条直线上，再根据投影点的位置来确定新样本的类别

分类	二分类	多分类
记	1. D = { ( x i , y i ) } i = 1 m D=\{(\boldsymbol{x}_i,y_i)\}^m_{i=1} D={(xi​,yi​)}i=1m​ 2. y i ∈ { 0 , 1 } y_i\in\{0,1\} yi​∈{0,1} 3. $X_i$、${\mathbf{\mu }}_i$、${\mathbf{\Sigma }}_i$：第 i ∈ { 0 , 1 } i\in\{0,1\} i∈{0,1}类示例的集合、均值向量、协方差矩阵 4. 直线$\mathbf{w}$	-
得	1. ${\mathbf{w}}^{\mathrm{T}}{\mathbf{\mu }}_0$、${\mathbf{w}}^{\mathrm{T}}{\mathbf{\mu }}_1$：两类样本的中心在直线上的投影 2. ${\mathbf{w}}^{\mathrm{T}}{\mathbf{\Sigma }}_0\mathbf{w}$、${\mathbf{w}}^{\mathrm{T}}{\mathbf{\Sigma }}_1\mathbf{w}$：两类样本的协方差	-
目标	同类样例投影点协方差尽可能小$\to {\mathbf{w}}^{\mathrm{T}}{\mathbf{\Sigma }}_0\mathbf{w}+{\mathbf{w}}^{\mathrm{T}}{\mathbf{\Sigma }}_1\mathbf{w}$尽可能小 异类样例类中心之间距离尽可能大$\to \Vert {\mathbf{w}}^{\mathrm{T}}{\mathbf{\mu }}_0-{\mathbf{w}}^{\mathrm{T}}{\mathbf{\mu }}_1{\Vert }_2^2$尽可能大	-
最大化目标	$$J=\frac{\Vert {\mathbf{w}}^{\mathrm{T}}{\mathbf{\mu }}_0-{\mathbf{w}}^{\mathrm{T}}{\mathbf{\mu }}_1{\Vert }_2^2}{{\mathbf{w}}^{\mathrm{T}}{\mathbf{\Sigma }}_0\mathbf{w}+{\mathbf{w}}^{\mathrm{T}}{\mathbf{\Sigma }}_1\mathbf{w}}=\frac{{\mathbf{w}}^{\mathrm{T}}({\mathbf{\mu }}_0-{\mathbf{\mu }}_1)({\mathbf{\mu }}_0-{\mathbf{\mu }}_1{)}^{\mathrm{T}}\mathbf{w}}{{\mathbf{w}}^{\mathrm{T}}({\mathbf{\Sigma }}_0+{\mathbf{\Sigma }}_1)\mathbf{w}}$$	-
定义	类内散度矩阵：$$\begin{gathered} {\mathbf{S}}_{\mathbf{w}}={\mathbf{\Sigma }}_0+{\mathbf{\Sigma }}_1 \\ =\sum _{\mathbf{x}\in X_0}(\mathbf{x}-{\mathbf{\mu }}_0)(\mathbf{x}-{\mathbf{\mu }}_0{)}^{\mathrm{T}}+\sum _{\mathbf{x}\in X_1}(\mathbf{x}-{\mathbf{\mu }}_1)(\mathbf{x}-{\mathbf{\mu }}_1{)}^{\mathrm{T}} \end{gathered}$$ 类间散度矩阵：$${\mathbf{S}}_b=({\mathbf{\mu }}_0-{\mathbf{\mu }}_1)({\mathbf{\mu }}_0-{\mathbf{\mu }}_1{)}^{\mathrm{T}}$$	全局散度矩阵：$$\begin{gathered} {\mathbf{S}}_t={\mathbf{S}}_b+{\mathbf{S}}_w \\ =\sum _{i=1}^m({\mathbf{x}}_i-\mathbf{\mu })({\mathbf{x}}_i-\mathbf{\mu }{)}^{\mathrm{T}} \end{gathered}$$类内散度矩阵：$${\mathbf{S}}_w=\sum _{i=1}^N{\mathbf{S}}_{w_i}$$类间散度矩阵：$$\begin{gathered} {\mathbf{S}}_b={\mathbf{S}}_t-{\mathbf{S}}_w \\ =\sum _{i=1}^N{m}_i({\mathbf{\mu }}_i-\mathbf{\mu })({\mathbf{\mu }}_i-\mathbf{\mu }{)}^{\mathrm{T}} \end{gathered}$$
则	$$J=\frac{{\mathbf{w}}^{\mathrm{T}}{\mathbf{S}}_b\mathbf{w}}{{\mathbf{w}}^{\mathrm{T}}{\mathbf{S}}_{\mathbf{w}}\mathbf{w}}$$ 即LDA最大化的目标： ${\mathbf{S}}_b$与${\mathbf{S}}_{\mathbf{w}}$的“广义瑞利商”(generalized Rayleigh quotient) 解只与$\mathbf{w}$的方向有关（若$\mathbf{w}$是一个解，则对于任意常数$\alpha$，$\alpha \mathbf{w}$也是解）	-
过程	令 ${\mathbf{w}}^{\mathrm{T}}{\mathbf{S}}_{\mathbf{w}}\mathbf{w}=1$ 则 $$\begin{gathered} \underset{\mathbf{w}}{\min }-{\mathbf{w}}^{\mathrm{T}}{\mathbf{S}}_b\mathbf{w} \\ \mathrm{s}.\mathrm{t}.{\mathbf{w}}^{\mathrm{T}}{\mathbf{S}}_{\mathbf{w}}\mathbf{w}=1 \end{gathered}$$	$$\underset{\mathbf{W}}{\max }\frac{\mathrm{t}\mathrm{r}({\mathbf{W}}^{\mathrm{T}}{\mathbf{S}}_b\mathbf{W})}{\mathrm{t}\mathrm{r}({\mathbf{W}}^{\mathrm{T}}{\mathbf{S}}_w\mathbf{W})}$$$\mathbf{W}\in {\mathbb{R}}^{d\times (N-1)}$
解得	$$\mathbf{w}={\mathrm{S}}_{\mathbf{w}}^{-1}({\mathbf{\mu }}_0-{\mathbf{\mu }}_1)$$	$\mathbf{W}$的闭式解是${\mathbf{S}}_w^{-1}{\mathbf{S}}_b$的$d^{\prime }$个最大非零广义特征值所对应的特征向量组成的矩阵 ($d^{\prime }⩽N-1$)

LDA：常被视为一种经典的监督降维技术($d^{\prime }\ll d$)

3.5 多分类学习

1. 关键：对多分类任务进行拆分，以及如何对多个分类器进行集成。
2. 给定
   1. D = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , … , ( x m , y m ) } D=\{(\boldsymbol{x}_1,y_1),(\boldsymbol{x}_2,y_2),\dots,(\boldsymbol{x}_m,y_m)\} D={(x1​,y1​),(x2​,y2​),…,(xm​,ym​)}
   2. y i ∈ { C 1 , C 2 , … , C N } y_i\in\{C_1,C_2,\dots,C_N\} yi​∈{C1​,C2​,…,CN​}

拆分策略	en	分类器	分类器个数	测试
一对一	One vs. one,OvO	将$N$个类别两两配对 （为区分类别$C_i$和$C_j$训练一个分类器，该分类器把$D$中的$C_i$类样例作为正例，$C_j$类样例作为反例）	$\left(\genfrac{}{}{0ex}{}{N}{2}\right)$	新样本同时提交所有分类器，最终结果可通过投票产生：即把被预测得最多的类别作为最终分类结果
一对其余	One vs. Rest,OvR	每次将一个类的样例作为正例、所有其他类的样例作为反例	$N$	1.仅有一个分类器预测为正类，则对应的类别标记作为最终分类结果 2.多个分类器预测为正类，则通常考虑各分类器的预测置信度，选择置信度最大的类别标记作为分类结果
多对多	Many vs. many,MvM	纠错输出码(ECOC)	-	-

ECOC	二元码	三元码
类别	正类(+1)+反类(-1)	正类(+1)+反类(-1)+停用类(0)
解码	各分类器的预测结果联合起来形成了测试示例的编码，该编码与各类所对应的编码进行比较，将距离（欧式距离或海明距离等）最小的编码所对应的类别作为预测结果	（同左）

3.6 类别不平衡问题

1. 类别不平衡(class-imbalance)：分类任务中不同类别的训练样例数目差别很大的情况

正反类样例数目	相当	$m^{+}$和$m^{-}$不同
决策规则	若$\frac{y}{1-y}>1$则 预测为正例	若$\frac{y}{1-y}>\frac{m^{+}}{m^{-}}$则 预测为正例
阈值	$0.5$	$\frac{m^{+}}{m^{-}}$

2. 基本策略$\to$再缩放(rescaling)：对其预测值进行调整$$\frac{y^{\prime }}{1-y^{\prime }}=\frac{y}{1-y}\times \frac{m^{-}}{m^{+}}$$

习题