python 利用sklearn中的朴素贝叶斯作文本文类代码

最新推荐文章于 2022-04-05 23:07:36 发布

原创最新推荐文章于 2022-04-05 23:07:36 发布 · 729 阅读

0 ·

CC 4.0 BY-SA版权

机器学习--ML 专栏收录该内容

36 篇文章

订阅专栏

本文通过使用朴素贝叶斯分类器对20个不同类别的新闻数据集进行文本分类，实现了从数据预处理到模型训练及评估的全过程。文章首先加载了整个数据集并将其划分为训练集和测试集，然后采用词频统计的方式对文本特征进行了抽取，接着利用多项式朴素贝叶斯模型完成训练，并最终评估了模型的准确率。

from sklearn.datasets import fetch_20newsgroups

news = fetch_20newsgroups(subset = 'all')

print len(news.data)
print news.data[0]

from sklearn.cross_validation import train_test_split

X_train, X_test, y_train, y_test = train_test_split(news.data, news.target, test_size = 0.25,  random_state = 33)

from sklearn.feature_extraction.text import CountVectorizer

vec = CountVectorizer()

X_train = vec.fit_transform(X_train)
X_test = vec.transform(X_test)

from sklearn.naive_bayes import MultinomialNB

mnb = MultinomialNB()

mnb.fit(X_train, y_train)
y_predict = mnb.predict(X_test)

from sklearn.metrics import classification_report

print 'The accuracy of Naive Bayes Classifier is: ', mnb.score(X_test, y_test)
print classification_report(y_test, y_predict, target_names = news.target_names)