该博客介绍了如何使用Python进行文本分类，涵盖了从导入文件、分词、去停用词到使用TF-IDF和卡方检验筛选特征的全过程。通过jieba进行分词，利用sklearn的CountVectorizer和TfidfTransformer生成词向量矩阵，并使用卡方检验选择特征。最终，博主使用朴素贝叶斯算法进行训练，通过10折交叉验证得到最高84%的正确率。
流程：
step1：导入文件
step2：分词
step3：去停用词
step4：tf-idf筛选
step5：卡方筛选
step6：训练预测
step1、2、3
导入文件很简单，如果路径是中文，需要注意，在Windows上需要用Unicode(path,'utf8')转换路径名称
文件中出现大量连续空格、换行符，所以使用正则匹配方法将之替换成一个空格
数字（这里暂且认为数字没有用处），中文英文标点符号，都没有用，过滤掉
也可以将他们写入停用词，然后全部一并过滤掉
用python实现文本分类
最新推荐文章于 2025-05-21 12:50:17 发布
最低0.47元/天 解锁文章
扫一扫
5614
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
