20、利用数据挖掘技术和文本表示模式提升垃圾邮件检测与过滤效果

利用数据挖掘技术和文本表示模式提升垃圾邮件检测与过滤效果

1. 引言

垃圾邮件如今已成为电子通信领域的一大难题，在某些服务器处理的邮件总量中，垃圾邮件占比高达 95%。这不仅涉及道德层面，还会带来经济损失，因此有效打击垃圾邮件至关重要。虽然人类通常能轻松判断一封邮件是否为垃圾邮件，但面对海量邮件，手动分类显然不现实。

垃圾邮件检测和过滤本质上是一个二分类问题，即把邮件分为正常邮件（ham）和垃圾邮件（spam）。在众多分类技术中，贝叶斯定理的应用最为知名。贝叶斯过滤器通过建立邮件中某些元素（通常是单词）与该元素在垃圾邮件或正常邮件中出现情况的关联，来计算邮件为垃圾邮件的概率。这种方法能适应不同用户的邮件习惯，且误判率较低，是处理垃圾邮件的有力手段。

为了进一步提升分类和检测效果，我们对数据（邮件语料库）的表示方式进行了研究，试图找出能优化分类结果的敏感参数。同时，为减少专家干预，我们引入了聚类算法（k - means）。

2. 现有技术

目前，反垃圾邮件技术主要分为基于机器学习和非基于机器学习两类。

2.1 非基于机器学习的技术

• 启发式规则分析 ：利用正则表达式规则检测垃圾邮件中常见的短语或特征，根据识别出的特征数量和严重程度对邮件进行分类。该技术因简单、快速且准确而广受欢迎，且无需学习期。
• 签名技术 ：为每封识别出的垃圾邮件生成唯一的哈希值（签名），过滤器将所有传入邮件的哈希值与存储的哈希值进行比对，以判断是否为垃圾邮件。这种技术能有效降低误判率。