半监督学习&&《机器学习》第二章习题总结

学习目标

掌握半监督学习、S3SVM的原理及推导过程。总结回顾第二章知识，完成第二章课后习题

半监督学习

1.1 基本原理

在机器学习领域，获得大量的有标注的数据存在一定的困难，但仅利用有标注的数据进行训练，也有一些缺陷：

• 大量未标注数据浪费
• 模型过拟合，泛化能力差

因此我们考虑在训练过程中加入这些未标记的数据。与原有输入全部标记好的模型相比，这种注入入未标记数据进行训练的方式叫做半监督学习。

同有监督学习类似，半监督学习模型也分为生成式与判别式

1.2 判别式模型 vs 生成式模型

机器学习解决问题的关键是找到$f(x)$，使$x$（样本）根据$f(x)$找到对应的$y$（标签），即最终得到的标签$y$满足：

$y=argma{x}_{yj}P(y_j|x)$

二者不同之处在于$argma{x}_{y_j}P(y_j|x)$
的求解方式，判别式模型直接根据条件概率$P(y|x)$进行求解，生成式模型根据联合概率$P(y,x)$进行求解

判别式模型

给定$x$，使$P(y|x)$最大的$y$即为最终的分类标签，那么判别式模型的关键就是找到$P(y|x)$的表达形式。

该表达形式是由一系列参数决定($y={\theta }_1{x}_1+{\theta }_2{x}_2+...+{\theta }_3{x}_3=\theta x$），因此$P(y|x)$又可以写为$P(y|x,\theta )$,根据最大似然函数$l(\theta )$求出未知参数$\theta$

$l(\theta )$=${\sum }_i^{n}log(P(y_i|x_i,\theta ))$
$\theta =argma{x}_{\theta }(l(\theta ))$

生成式模型

生成式模型认为预测结果$y$是事物的本质，而观测样本$x$是事物的表现形式。
（举个栗子）： 标签$y$为羊或者长颈鹿，观测样本x包括“是否吃草”，“是否脖子长”等特征，标签$y$决定了特征$x$是否存在

同上， 我们还是需要找到使$P(y|x)$最大的$y$，但因为是$y$决定了$x$，无法对$P(y|x)$的分布进行假设，所以需要利用贝叶斯公式进行转化

$P(y|x)$=$\frac{P(x,y)}{P(x)}$=$\frac{P(x|y)\ast P(y)}{P(x)}$

此时
$y=argma{x}_{y_j}P(y_j|x)=argma{x}_{y_j}\frac{P(x|y_j)\ast P(y_j)}{P(x)}$=$argma{x}_{y_j}P(x|y_j)\ast P(y_j)$

此时似然函数为$l(\theta ,\alpha )$:

$l$($\theta$,$\alpha$)=$log(P(x_i|y_i,\theta )\ast P(y_i,\alpha ))$

1.3 生成式半监督模型

生成式半监督模型假设标记样本与未标记样本都是由同一个模型生成的。假设样本由高斯混合模型生成，每个类别代表一个高斯混合成分，即

$p(x)$=${\sum }_i^N(a_i\ast P(x|u_i{\sum }_i))$生成

其中${\sum }_i^N{a}_i$=1,$P(x|u_i{\sum }_i)$表示样本$x$属于第$i$个高斯混合成分的概率，$u_i{\sum }_i$表示混合成分的参数

$f(x)=argma{x}_{y}P(y=j|x)$
= $argma{x}_y{\sum }_i^{N}P(y=j,\theta =i|x)$
=$argma{x}_y{\sum }_i^{N}P(y=j|\theta =i,x)\ast P(\theta =i|x)$

其中 $P(\theta =i|x)$=$\frac{a_i\ast P(x|u_i{\sum }_i)}{{\sum }_i^N{a}_i\ast P(x|u_i{\sum }_i)}$

因为$P(y=j|\theta =i,x)$需要知道样本的标记，所以不适用于未标记样本；$P(\theta =i|x)$不涉及标记，所以有标记，无标记可以利用，并且随着数据量的增加，拟合效果会更好

$D_l$与$D_u$的对数似然为：

$D_{l}U{D}_u$=$log({\sum }_i^{N}P(y=j|\theta =i,x)\ast P(\theta =i|x))$+$log({\sum }_i^N\ast P(\theta =i|x))$

根据EM算法优化$u,{\sum }_i^N$,不断迭代至收敛即可。

2.2 半监督SVM

半监督支持向量机（Semi-Supervises Supported Vector Machine,S3VM）是支持向量机在半监督问题上的推广，是一种半监督的判别式模型。
在监督问题中，支持向量机通过求解最大间隔超平面将两类样本分开；而在半监督问题中，支持向量机寻找的是能够将两类标记样本分开，并且穿过低密度样本区域的超平面。

1.TSVM（Joachims,1999)
-无标记样本：通过标记指派赋予样本标记
-预先对未标记的样本指派一个标记，之后和已标记样本一起作为输入样本，训练模型，寻找最大间隔超平面。
这是一个穷举的过程，穷举次数≈$2^n$,因此效率很低

2.优化的TSVM

对于半监督问题而言，TSVM的目标是为无标记样本集$D_u$给出预测标记$y_u$，使

$min\frac{1}{2}||w|{|}^2+C_l{\sum }_{i=1}{\delta }_i+C_u{\sum }_{i=1}{\delta }_i$

s.t.
$y_i(w{x}_i+b)+{\delta }_i\ge 1$, $i=1,2,....l$
$y_i(wx+b)+{\delta }_i\ge 1$, $i=l,l+1,....m$
${\delta }_i\ge 0$

其中，$\delta$为松弛变量，$C_u$和$C_l$为惩罚系数（或折中参数）

-忽略$D_u$以及$C_u{\sum }_{i=1}{\delta }_i$，根据有标记样本训练出SVM

-根据训练好的SVM对$D_u$进行指派，生成"伪标记"，将其作为监督问题，与有标记样本一起求解超平面。
（此时的伪标记应该不是很准确，所以开始训练时将$C_u$初始化为<$C_l$的数值，使得有标记数据的贡献更大）

-SVM找出两个标记为异类，并且很容易发生错误的样本，交换她们的标记，再重新划分间隔超平面，划分完成后不断增大$C_u$，直到$C_u$=$C_l$为止

综上，TSVM的伪代码可以写成：
输入：有标记样本集$D_l$，无标记样本集$D_u$
过程：
1.$D_l$ -> $SVM$ //训练SVM
2.$SVM$->$y_l$ //输出未标记样本的伪标记
3.初始化$C_u<<C_l$
4. $While(C_u<C_l)$ $do$
根据目标函数求解$(w,b)$,$\delta$
$while((y_i\ast y_j)>0$ and $({\delta }_i>0)$ and $({\delta }_j>0)$ and $({\delta }_i+{\delta }_j>2)$ $do$
$y_i$=$-y_i$
$y_j$=$-y_j$
更新$(w,b)$,$\delta$
$endwhile$
$C_u$=$min(2C_u,C_l)$
$endwhile$

输出：未标记样本的预测结果

《机器学习》第二章知识点回顾+课后练习

1.训练集上的误差叫做经验误差，测试集上的误差叫做泛化误差。我们所做的工作（如调参等），是为了最小化经验误差
2.经验误差过小很有可能导致过拟合
3.一般而言，测试集至少包含30个样本，大约2/3~4/5的样本用于训练
4.交叉验证中每一个子集都满足分层采样原则，数据分布相同，即正例：负例=原数据集中正例：负例
5.交叉验证取极端成为留一法，即仅有一个样本用于测试
6.平衡点（BEP)用于P-R曲线中，评估模型性能
7.ROC曲线的纵坐标为真正例率，横坐标为假正例率，反映了任意阈值对性能的影响。其面积AUC越大，性能越优。

习题：
2.1 数据集包含1000个样本，其中500个正例、500个反例，将其划分为包含70%样本的训练集和30%样本的测试集用于留出法评估，试估算共有多少种划分方式。
解： 组合问题。划分方式有$(C_{500}^{350}{)}^2$ 种。

2.2 数据集包含100个样本，其中正、反例各一半，假定学习算法所产生的模型是将新样本预测为训练样本数较多的类别（训练样本数相同时进行随机猜测），试给出用10折交叉验证法和留一法分别对错误率进行评估所得的结果。
解： 10折交叉验证： 由于每次训练样本中正反例数目一样，所以错误率是50%。
留一法： 如果留下的是正例，训练样本中反例的数目比正例多一个，所以错误率是100%。

2.3 若学习器A的F1值比学习器B高，试析A的ERP值是否也比B高。
解： 不能确定。因为P-R图是非单调的，会有上下波动，所以不能根据F值断定BEP

2.4 试述真正例率（TPR）、假正利率（FPR）与查准率（P）、查全率（R）之间的联系。
解： 查全率：$\frac{TP}{FN+TP}$
查准率:$\frac{TP}{FP+TP}$
真正例率：$\frac{TP}{FN+TP}$
假正例率：$\frac{FP}{TN+FP}$
所以查全率=真正例率

5.2.6 试述错误率与ROC曲线的联系。
解： 每一个点都对应了一个真正例率与假正例率，对应着一个错误率

6.min-max与z-score的特点：
解： min-max：方法简单，归一化后每个元素均为正值；当新增加一个元素时，仅当大于最大值或小于最小值时，才需要要再重新计算；容易受极端值影响。
z-score： 0周围的样本比较稠密；当新增加一个样本时，全部样本都需要重新计算。