利用AI+大数据的方式分析恶意样本（四十六）

From Grim Reality to Practical Solution: Malware Classification in Real-World Noise

西北大学，Xinyu Xing

恶意软件数据集由于样本标记所需的专业知识和经验的短缺，不可避免地包含了错误的标签。

先前的研究表明，训练集中存在错误标记的样本将导致模型学习的不准确。为解决这个问题，研究人员提出了各种噪声学习方法来抵消错误标记样本的影响，在图像识别和文本挖掘等应用中，这些方法表现出了很好的效果。

在这项工作中，我们将代表性和最先进的噪声学习方法应用于现实世界的恶意软件分类任务。令人惊讶的是，我们观察到现有方法都不能最小化错误标签的影响。

通过精心设计的实验，我们发现这种无效主要是由于极端的数据不平衡和高比例的错误标记数据样本导致的。因此，我们进一步提出了一种新的噪声学习方法，并将其命名为MORSE。

与现有方法不同，MORSE定制并扩展了最先进的半监督学习技术。它将可能存在错误标记的数据视为未标记数据，从而避免它们对模型学习的潜在负面影响。

在MORSE中，我们还整合了样本重新加权方法，平衡模型学习中的训练数据使用，从而解决了数据不平衡的挑战。我们在合成和真实的数据集上评估了MORSE。结果表明，MORSE能够显著优于现有的噪声学习方法，并最小化错误标记数据的影响。