基于scikit-learn(sklearn)做分类--1.切词

原来看了很多例子，想做一个文本分类，大致是关于对网页内容进行分类，大约10个类。没有自己写程序，而是调用的包，主要是用的sklearn中的文本分类包，现在就把主要的程序贴上，供别人参考。

1、切词

首先是拿到文本进行切词，使用的是jieba分词，不过可以自己导入自定义词典。

import jieba

import sys

import os

import re

import jieba.analyse

def split_jieba(line):

jieba.load_userdict('dict.txt')//加载一个自定义词典

seg_list = jieba.cut(line1,cut_all= False)//对一句话进行切词，形成一个列表

        for w in seg_list:

//以下是做的一些无用字符的替换

                if (w.strip() == 'n'):

                        continue

                if (w.strip() == '\|'):

                        continue

                if (w.strip() == '\\'):

                        continue

                re.sub('\n','',w.strip())

                re.sub('n','',w.strip())

                re.sub('|','',w.strip())

                re.sub('>','',w.strip())

                re.sub(':','',w.strip())

                re.sub('/','',w.strip())

                re.sub(',','',w.strip())

                w = w.replace("\\",'')

                re.sub('/','',w.strip())

                re.sub('<','',w.strip())

                if (w.strip() != ""):

                        fout.write(w.encode('utf-8')+' ')

//最后形成一个切好词的文件

//同时jieba里面也有提取关键词的函数

        s = jieba.analyse.extract_tags(line1,topk)