数据挖掘·中文垃圾邮件分类

最新推荐文章于 2025-05-13 10:12:09 发布

mosan123

最新推荐文章于 2025-05-13 10:12:09 发布

阅读量6k

点赞数 2

CC 4.0 BY-SA版权

分类专栏：数据挖掘

本文链接：https://blog.youkuaiyun.com/Shuang_Mo/article/details/81037385

该博客介绍了如何对中文垃圾邮件进行分类。首先，通过遍历文件夹、正则提取和分词处理邮件数据，接着去除停用词并匹配标签。然后，利用tf-idf进行特征提取，划分训练集。最后，训练了朴素贝叶斯、逻辑回归和K近邻模型，并通过交叉验证评估，结果显示逻辑回归模型表现最佳。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1. 加载数据

首先观察文件构成：
垃圾邮件分类文件夹
垃圾邮件标签
可发现邮件存储以一个个txt文档的形式存放在一个文件夹中，因而需要先遍历文件夹中的所有文件，拿到文件地址

# load data 
def file_walker(file_path):
    file_list = []
    for root, dirs, files in os.walk(file_path): # a generator
        for fn in files:
            path = str(root+'/'+fn)
            file_list.append(path)
    return file_list

然后读取txt文件，去掉非中文字符

def read_txt(path, encoding):
    with open(path, 'r', encoding=encoding, errors='ignore') as f:
        lines = f.readlines()
    return lines
def extract_chinese(text):
    content = ' '.join(text)
    re_code = re.compile("\r|\n|\\s")
    re_punc = re.compile('[/s+/./!//_,$%^*()+