svm理论与实验之20: libsvm多标签实验与评价指标

徐海蛟博士 Teaching.


数据集如下：
名称 源 类型 类数 训练样本 测试样本 特征数
----------------------------------------------------------------
scene景色 MB04a 多标签6 1,211 1,196 294
yeast酵母 AE02a 多标签14 1,500 917 103


svm-train ../svm-data/scene scene.model 出错
cd D:\work\Lab\libsvm-3.17\tools
python trans_class.py ../svm-data/scene ../svm-data/scene.t
  > 生成: "tmp_train" , "tmp_test" ,  "tmp_class"
..\windows\svm-train -t 0 tmp_train
..\windows\svm-predict tmp_test tmp_train.model tmp.result
  > 精度 = 66.7224% (798/1196) (分类) 线性核(-t 0) √
  > 精度 = 16.4716% (197/1196) (分类) 多项式核
  > 精度 = 63.796%  (763/1196) (分类) RBF核
  > 精度 = 57.0234% (682/1196) (分类) S型核
python measure.py ../svm-data/scene.t tmp.result tmp_class
>
number of labels = 6
Exact match ratio: 0.667224080268
微平均 F-measure: 0.719215686275
宏平均 F-measure: 0.723864830515


开始有新的评价指标了: 宏平均、微平均。


python trans_class.py ../svm-data/yeast ../svm-data/yeast.t
  > 生成: "tmp_train" , "tmp_test" ,  "tmp_class"
..\windows\svm-train -t 0 tmp_train
..\windows\svm-predict tmp_test tmp_train.model tmp.result
  > 精度 = 25.0818% (230/917) (分类) 线性核(-t 0) √
  > 精度 = 15.1581% (139/917) (分类) 多项式核
  > 精度 = 14.6129% (134/917) (分类) RBF核
  > 精度 = 14.6129% (134/917) (分类) S型核
python measure.py ../svm-data/yeast.t tmp.result tmp_class
>
number of labels = 14
Exact match ratio: 0.250817884406
微平均 F-measure: 0.636425186188
宏平均 F-measure: 0.378852223294


解释下评价指标。


测试集scene.t有6个类, 类别ci(i=1,..,6)的分类结果中，正确分为该类的样本(RR)数目是a，错误划归为该类的样本(RN)数目是b，将本属于该类却错误划归为其它类的样本(NR)数目是c。


1.准确率：p = a / (a+b)，衡量的是类别ci的查准率。
2.召回率：r = a / (a+c)，衡量的是类别ci的查全率。
3.F1：F1 = 2(p×r)/(p+r) 或者 2/(1/p + 1/r)，衡量的是类别ci查全率和查准率的综合，以及对它们的偏向程度。这里 贝塔=1。
4.微平均: 每个文档性能指标(p,r,F1等)的算数平均值。
  MicroP = a之和 / (a+b)之和 (共6个类)
  MicroR = a之和 / (a+c)之和 (共6个类)
  MicroF1= 2(MicroP×MicroP)/(MicroP+MicroP) = 
5.宏平均：每类文档性能指标(p,r,F1等)的算数平均值。
  MacroP = (p1 + ... + p6) / 6
  MacroR = (r1 + ... + r2) / 6
  MacroF1= (6个类的F1之和) / 6 = 0.723864830515
6.MAP(MeanAP)：对所有查询的AP求宏平均。
  这里未对分类考虑排序，故没有计算MAP。