利用python的sklearn开源包进行文本挖掘

最新推荐文章于 2023-06-03 14:43:50 发布

pat_datamine

最新推荐文章于 2023-06-03 14:43:50 发布

阅读量6.4k

点赞数 2

CC 4.0 BY-SA版权

分类专栏：数据挖掘（python）

本文链接：https://blog.youkuaiyun.com/pat_datamine/article/details/43969631

本文介绍了一种从特定网站抓取中文文章并利用结巴分词进行预处理的方法，并通过sklearn库实现TF-IDF特征提取，最终采用KNN、SVM、CART和Bayes算法对文本进行分类。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

从网站抓取训练样本数据，代码：

import urllib2
from BeautifulSoup import BeautifulSoup
import sys
import re
import time
import sys
reload(sys)
sys.setdefaultencoding('utf-8')

url=['http://news.baidu.com/n?cmd=4&class=mil&pn=1&from=tab'\
     ,'http://news.baidu.com/n?cmd=4&class=finannews&pn=1&from=tab'\
     ,'http://news.baidu.com/n?cmd=4&class=internet&pn=1&from=tab'\
     ,'http://news.baidu.com/n?cmd=4&class=housenews&pn=1&from=tab'\
     ,'http://news.baidu.com/n?cmd=4&class=autonews&pn=1&from=tab'\
     ,'http://news.baidu.com/n?cmd=4&class=sportnews&pn=1&from=tab'\
     ,'http://news.baidu.com/n?cmd=4&class=enternews&pn=1&from=tab'\
     ,'http://news.baidu.com/n?cmd=4&class=gamenews&pn=1&from=tab'\
     ,'http://news.baidu.com/n?cmd=4&class=edunews&pn=1&from=tab'\
     ,'http://news.baidu.com/n?cmd=4&class=healthnews&pn=1&from=tab'\
     ,'http://news.baidu.com/n?cmd=4&class=technnews&pn=1&from=tab'\
     ,'http://news.baidu.com/n?cmd=4&class=socianews&pn=1&from=tab']

ff=['E:/baidu/军事.txt'\
    ,'E:/baidu/财经.txt'\
    ,'E:/baidu/互联网.txt'\
    ,'E:/baidu/房产.txt'\
    ,'E:/baidu/汽车.txt'\
    ,'E:/baidu/体育.txt'\
    ,'E:/baidu/娱乐.txt'\
    ,'E:/baidu/游戏.txt'\
    ,'E:/baidu/教育.txt'\
    ,'E:/baidu/女人.txt'\
    ,'E:/baidu/科技.txt'\
    ,'E:/baidu/社会.txt']

for j in range(7,8):
    soup