利用python的sklearn开源包进行文本挖掘

最新推荐文章于 2023-06-03 14:43:50 发布

原创

最新推荐文章于 2023-06-03 14:43:50 发布 · 6.4k 阅读

21 ·

CC 4.0 BY-SA版权

本文介绍了一种从特定网站抓取中文文章并利用结巴分词进行预处理的方法，并通过sklearn库实现TF-IDF特征提取，最终采用KNN、SVM、CART和Bayes算法对文本进行分类。

从网站抓取训练样本数据，代码：

import urllib2
from BeautifulSoup import BeautifulSoup
import sys
import re
import time
import sys
reload(sys)
sys.setdefaultencoding('utf-8')

url=['http://news.baidu.com/n?cmd=4&class=mil&pn=1&from=tab'\
     ,'http://news.baidu.com/n?cmd=4&class=finannews&pn=1&from=tab'\
     ,'http://news.baidu.com/n?cmd=4&class=internet&pn=1&from=tab'\
     ,'http://news.baidu.com/n?cmd=4&class=housenews&pn=1&from=tab'\
     ,'http://news.baidu.com/n?cmd=4&class=autonews&pn=1&from=tab'\
     ,'http://news.baidu.com/n?cmd=4&class=sportnews&pn=1&from=tab'\
     ,'http://news.baidu.com/n?cmd=4&class=enternews&pn=1&from=tab'\
     ,'http://news.baidu.com/n?cmd=4&class=gamenews&pn=1&from=tab'\
     ,'http://news.baidu.com/n?cmd=4&class=edunews&pn=1&from=tab'\
     ,'http://news.baidu.com/n?cmd=4&class=healthnews&pn=1&from=tab'\
     ,'http://news.baidu.com/n?cmd=4&class=technnews&pn=1&from=tab'\
     ,'http://news.baidu.com/n?cmd=4&class=socianews&pn=1&from=tab']

ff=['E:/baidu/军事.txt'\
    ,'E:/baidu/财经.txt'\
    ,'E:/baidu/互联网.txt'\
    ,'E:/baidu/房产.txt'\
    ,'E:/baidu/汽车.txt'\
    ,'E:/baidu/体育.txt'\
    ,'E:/baidu/娱乐.txt'\
    ,'E:/baidu/游戏.txt'\
    ,'E:/baidu/教育.txt'\
    ,'E:/baidu/女人.txt'\
    ,'E:/baidu/科技.txt'\
    ,'E:/baidu/社会.txt']

for j in range(7,8):
    soup