SeLeCT:Self-Learning Classifier for Internet Traffic

本文探讨了聚类迭代算法的输出评估方法,包括使用2个度量准则(聚类个数和被聚类流百分比)进行评估,并通过混淆矩阵解释分类结果。文中介绍了总体精度、召回和精度三个评估标准,强调了混淆矩阵在评估分类能力方面的应用,同时提供了用于评估的参数设置细节。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

4.实验结果

A、实验数据集
B、性能评估

用2个度量准则对聚类迭代算法的输出进行评估,聚类的个数以及被聚类流的百分比。

用混淆矩阵对分类结果进行说明,混淆矩阵的每一行的代表分类的实际结果,每一列代表实际的分类结果。对性能进行评估时,采用以下三个度量标准:总体精度,召回,精度。

总体精度并不能完全评估分类的能力,如果一个trace里面有90%的流为HTTP,讲所有的流都归为HTTP,其总体精度也将达到90%。

召回是针对每一个具体的来来说,上面的例子中,除了HTTP外,其它召回率均为0。

精度的结果同上。

%%%%%%%%%%%%%%说明%%%%%%%%%%%%%%

假定:从一个大规模数据集合中检索文档的时,可把文档分成四组:
- 系统检索到的相关文档(A)
- 系统检索到的不相关文档(B)
- 相关但是系统没有检索到的文档(C)
- 不相关且没有被系统检索到的文档(D)
则:
- 召回率R:用检索到相关文档数作为分子,所有相关文档总数作为分母,即R = A / ( A + C )
精度P:用检索到相关文档数作为分子,所有检索到的文档总数作为分母.即P = A / ( A + B ).
%%%%%%%%%%%%%%说明%%%%%%%%%%%%%%
文中其它参数的设置如下:
批处理包的大小为10000;种子个数为8000,聚类中流的阈值为20,迭代次数为3,迭代次数小于3时端口过滤阈值为0.5,最终端口过滤阈值为0.2,聚类算法中,K=100,总的迭代步数小于1000000,独立执行10次,选择均方误差最小的值作为聚类结果。

学习如何从有偏差的分类器中解偏差是一个重要的问题。偏差分类器是指在分类任务中存在不公平或不平衡现象的模型。通常情况下,这些偏差源于数据集中的不平衡或样本中存在的偏见。 为了解决这个问题,我们可以采取一些方法来将偏差分类器转化为无偏差分类器。首先,我们需要对原始分类器进行评估,了解它所产生的偏差是如何体现的。这样我们就能够识别出任何偏向某一特定类别的倾向。 一种常见的去偏差方法是重标定数据。通过重新平衡数据集,使得数据中各个类别的样本数量更加均衡。这样可以消除分类器在少数类别上的偏见,并提高分类器的准确性。 另一个方法是通过增加代表少数类别的样本来平衡数据集。这可以通过改变数据采样方法,例如过采样或合成少数类别样本,来增加这些样本的数量。这样可以增加分类器对少数类别的学习能力,从而减少偏见。 还有一种方法是使用一些特定的算法或技术来调整分类器的决策边界。例如,使用公平学习算法可以对决策边界进行微调,以减少偏见。这些算法通过考虑分类错误的代价和不平衡的权衡,来找到更公平的决策边界。 总而言之,学习如何从有偏差的分类器中解偏差是一个复杂而重要的任务。通过评估原始分类器的偏见,重新标定数据、平衡数据集以及调整决策边界等方法,我们可以将偏差分类器转化为无偏差分类器,从而提高分类器的准确性和公平性。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值