【语言处理与Python】6.2有监督分类的更多例子

最新推荐文章于 2020-12-20 09:57:22 发布

weixin_30682415

最新推荐文章于 2020-12-20 09:57:22 发布

阅读量78

点赞数

CC 4.0 BY-SA版权

文章标签： python

原文链接：http://www.cnblogs.com/createMoMo/archive/2013/05/26/3100574.html

本文详细介绍了使用机器学习方法对文本进行断句和对话行为类型的识别过程，包括句子分割、特征提取、标点符号分类器训练以及断句器实现等关键步骤。同时，还涉及了对文本蕴含的识别以及如何扩展到大型数据集的实践。通过实例演示了从文本数据中自动提取有意义的句子边界和理解对话中不同行为的能力。

句子分割

第一步，是获得一些已经被分割的句子的数据，将他转换成一种合适的提取特征的形式。

sents=nltk.corpus.treebank_raw.sents()
tokens=[]
boundaries=set()
offset=0
for sent in nltk.corpus.treebank_raw.sents():
    tokens.extend(sent)
    offset+=len(sent)
    boundaries.add(offset-1)
#tokens是句子的集合，boundaries为句子边界的集合，然后我们写提取特征函数
def punct_features(tokens,i):
    return {
        'next-word-capitalized':tokens[i+1][0].isupper(),
        'prevword':tokens[i-1].lower(),
        'punct':tokens[i],
        'prev-word-is-one-char':len(tokens[i-1]==1)
        }
#生成特征集
featuresets=[
    (punct_features(tokens,i),(i in boundaries))
    for i in range(1,len(tokens)-1)
    if tokens[i] in '.?!'
]

第二步，将这个集合拆开来训练一个标点符号分类器：

>>>size = int(len(featuresets) *0.1)
>>>train_set, test_set = featuresets[size:], featuresets[:size]
>>>classifier = nltk.NaiveBayesClassifier.train(train_set)
>>>nltk.classify.accuracy(classifier,test_set)
0.97419354838709682

我们可以利用上面的这个分类器，来做一个断句器

def segment_sentences(words):
    start = 0
    sents = []
    for i, wordin words:
        if wordin '.?!' and classifier.classify(words,i) ==True:
            sents.append(words[start:i+1])
            start = i+1
    if start < len(words):
        sents.append(words[start:])