数据挖掘·中文垃圾邮件分类

该博客介绍了如何对中文垃圾邮件进行分类。首先,通过遍历文件夹、正则提取和分词处理邮件数据,接着去除停用词并匹配标签。然后,利用tf-idf进行特征提取,划分训练集。最后,训练了朴素贝叶斯、逻辑回归和K近邻模型,并通过交叉验证评估,结果显示逻辑回归模型表现最佳。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

1. 加载数据

首先观察文件构成:
垃圾邮件分类文件夹
垃圾邮件标签
可发现邮件存储以一个个txt文档的形式存放在一个文件夹中,因而需要先遍历文件夹中的所有文件,拿到文件地址

# load data 
def file_walker(file_path):
    file_list = []
    for root, dirs, files in os.walk(file_path): # a generator
        for fn in files:
            path = str(root+'/'+fn)
            file_list.append(path)
    return file_list

然后读取txt文件,去掉非中文字符

def read_txt(path, encoding):
    with open(path, 'r', encoding=encoding, errors='ignore') as f:
        lines = f.readlines()
    return lines
def extract_chinese(text):
    content = ' '.join(text)
    re_code = re.compile("\r|\n|\\s")
    re_punc = re.compile('[/s+/./!//_,$%^*()+
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值