NLTK学习笔记——Classify模块（3）

本节介绍我的分类实战过程。

简要记一下题目：应聘者简历上的职位信息常常繁杂且无规律，而一间公司的职位数量是一定的，于是本实战任务就是将简历上的职位进行分类。

注：原文是英文的分类实例，而我要做的是中文分类，因此首先要引入结巴分词器对中文分词后方可继续处理。

简历职位（25679条）与公司职位数据（32条）分别为：

下面参照《NLTK学习笔记——Classify模块（2）》的过程进行分类标记。

1.有监督分类

由于给的文件本身没有标记，所以要想办法将其转化成“有监督”分类。因为是将左边的职位分类成右边的职位，所以定左边为测试集，右边为训练集。

2.获取语料

#首先获取语料

file=open('features.txt','r')

raw_corpus=file.read().decode('utf-8')

file.close()

new_corpus=[]

for corpus in raw_corpus.split('\n'):

    corpus=" ".join(jieba.cut(corpus, cut_all=False))

    new_corpus.append(corpus)   

2.标注职位

#然后标注训练集

pos_features=[]#存放句子和标注

count=len(new_corpus)#标注的个数，即32

i=0

for corpus in new_corpus:

    pos_features.append((corpus,i))

    i=i+1   

3.处理职位（即分词，将职位的中文短语切分成多个词语）

#接下来对pos_features进行处理，按空格分割每行

new_pos_features=[]

for(words,sentiment) in pos_features:

    words_filtered=[e.lower() for e in words.split()]

    new_pos_features.append((words_filtered,sentiment))

    print (words_filtered,sentiment)   

4.特征提取

#获取分类特征

def get_words_in_tweets(tweets):

    all_words=[]

    for(words,sentiment) in tweets:

        all_words.extend(words)

    return all_words

def get_word_features(wordlist):

    wordlist=FreqDist(wordlist)

    word_features=wordlist.keys()

    return word_features

word_features=get_word_features(get_words_in_tweets(new_pos_features))   

#创建特征提取器，用于提取测试集的特征

def extract_features(document):

    document_words=set(document)

    features={}

    for word in word_features:

        features['contains(%s)' % word]=(word in document_words)

    return features   

5.创建分类器

#将训练集用来寻来朴素贝叶斯分类器NavieBayesClassifier

#training_set包含特征集

training_set=classify.apply_features(extract_features,new_pos_features)

classifier=NaiveBayesClassifier.train(training_set)   

6.标注测试集

#对测试集进行标注

file2=open('positions.txt','r')

pos_tests=[]

file3 = open('result.txt','w')

for line in file2:

    text=line.split('\n')

    new_test=" ".join(jieba.cut(line, cut_all=False))

    file3.write(text[0]+"/"+str(classifier.classify(extract_features(new_test.split())))+"\n")

file2.close()

file3.close()

print "end"    #分类结束的标志

6.分类结果以及部分相应的标记：

可见分类的结果还是客观的，但仍有不足。猜测的问题：

• 分词，程序采用了jieba的精确分词，可以试一试其他的分词模式
• 特征，程序采用词频以及是否含有该词为特征，或许有点片面，还需考量
• 训练集太少，测试集太大，导致结果有误差
• 程序有错误，因为有的职位是不存在的，而程序都将这类的职位归为13，即“市场总监”，因此还需要仔细推敲

注：代码的几个注意事项：

• 为防中文编码错误，需要在程序的第一行加：#coding:utf-8
  
• 为使代码正常运行，需要引入几个包：
  
  import jieba  #调用结巴分词器
  
  from nltk import FreqDist
  from nltk import classify
  from nltk.classify.naivebayes import NaiveBayesClassifier  

个人实战过程到此结束，有问题的地方户在后期的学习中慢慢改进。