python 结巴分词学习初探

# -*- coding: utf-8 -*-
"""
Created on Fri Nov 24 10:39:35 2017

@author: liub
"""

import jieba
import jieba.posseg as pseg


#支持三种分词模式：
#
#    精确模式，试图将句子最精确地切开，适合文本分析；
#    全模式，把句子中所有的可以成词的词语都扫描出来, 速度非常快，但是不能解决歧义；
#    搜索引擎模式，在精确模式的基础上，对长词再次切分，提高召回率，适合用于搜索引擎分词。


seg_list = jieba.cut("我来到北京天安门人民英雄纪念碑", cut_all = True)
print ("全 Mode:", ' '.join(seg_list))

seg_list = jieba.cut("我来到北京天安门人民英雄纪念碑", cut_all = False)
print ("精确 Mode:", ' '.join(seg_list))

seg_list = jieba.cut("我来到北京天安门人民英雄纪念碑")
print ("Default Mode:", ' '.join(seg_list))


seg_list = jieba.cut_for_search("小明硕士毕业于中国科学院计算所，后在日本京都大学深造")  # 搜索引擎模式
print(", ".join(seg_list))


#词性标注
words = pseg.cut("青岛北京是不错的地方")
for word in words:
    print (word.word,word.flag)  
    
#位置计算   
result = jieba.tokenize(u'永和服装饰品有限公司')
for tk in result:
    print("word %s\t\t start: %d \t\t end:%d" % (tk[0],tk[1],tk[2]))
    
#提取关键词
import jieba.analyse as al

content = "谢宇在进入大学前是一个不折不扣的计算机白痴，曾经被人笑话过不懂鼠标是什么，经过自己的不断努力与坚持，走到现在，自认为还算是一个不错的“泥水匠”。作者把在这一过程中所经历过的许多问题和技术细节，以及自己的学习经历和心理，记录在博客上，引发众多网友的共鸣。谢宇发现和自己有类似经历的人很多，在许多网友的支持下，决定写下《Java特种兵》（上册）一书分享给大家，希望这本书对徘徊在Java门外的初学者有一定的引导作用，能够提升Java入门者的单兵作战能力，独当一面！以下为采访正文";
word_topk = al.extract_tags(content,topK=4)
print ("|".join(word_topk))