11、机器学习分类器验证与打包器识别技术解析

机器学习分类器验证与打包器识别技术解析

机器学习分类器的变质测试验证

在机器学习算法的验证中，变质测试是一种有效的方法，这里主要针对NB、k - NN及其组合（集成分类器）展开研究。

变质关系介绍

• MR - 5.1：类别移除 ：若测试用例或测试样本ts在源输入中被分类为li，那么移除除li之外其他类别的样本，不会影响ts在后续输入中的分类结果。
  • 实验设置 ：使用与评估MR - 4.1和MR - 4.2相同的源输入数据集。60%的样本（108个样本）用于训练（源输入情况）。后续输入中移除“SL”类，即后续输入仅包含“DH”和“NO”。使用三个测试集分别对源输入和后续输入进行测试：一是使用属于“DH”的8个样本；二是使用属于“NO”的8个样本；三是将前两个测试集组合。
  • 实验分析 ：MR - 5.1仅对NB是必要的，并且使用NB和k - NN都能实现该关系。
• MR - 5.2：样本移除 ：移除类li的一些样本以创建后续输入，不会影响那些在源输入中被正确分类到类lj（li ≠ lj）的样本的分类结果。
  • 实验设置 ：使用与MR - 5.1相同的源输入数据集。后续输入中，移除属于“NO”和“SL”类的50%样本，“DH”类样本不变。测试用例选择9个“DH”类的测试用例（与MR - 4.1相同）。
  • 实验