使用scikit-learn进行文本分类

最新推荐文章于 2024-07-30 11:11:01 发布

hjh00

最新推荐文章于 2024-07-30 11:11:01 发布

阅读量2.4k

点赞数 1

分类专栏： python 文章标签： scikit-learn 文本分类 Python

本文链接：https://blog.youkuaiyun.com/hjh00/article/details/73484753

版权

本文介绍如何使用scikit-learn进行文本分类，数据来源于SMS Spam Collection v. 1，通过预处理和特征提取，利用CountVectorizer和TfidfTransformer转化文本，并将数据集划分为训练集和测试集进行模型训练。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1. 数据来源

所用的数据是分类好的数据，详细描述见SMS Spam Collection v. 1，可以从github下载，数据在第4章。每一行数据包括包括两列，使用逗号隔开，第1列是分类（lable），第2列是文本。

sms = pd.read_csv(filename, sep=',', header=0, names=['label','text'])

sms.head
Out[5]: 
<bound method DataFrame.head of      label                                               text
0      ham  Go until jurong point, crazy.. Available only ...
1      ham                      Ok lar... Joking wif u oni...
2     spam  Free entry in 2 a wkly comp to win FA Cup fina...
3      ham  U dun say so early hor... U c already then say...
4      ham  Nah I don't think he goes to usf, he lives aro...
5     spam  Free