结巴分词加字典分词词性标注

最新推荐文章于 2024-04-10 17:19:10 发布

原创最新推荐文章于 2024-04-10 17:19:10 发布 · 4k 阅读

9 ·

CC 4.0 BY-SA版权

自然语言处理专栏收录该内容

11 篇文章

订阅专栏

本文介绍了如何使用jieba库进行中文文本的分词处理，包括加载自定义词典、添加和删除词语，以及展示分词结果的词性和频率。通过具体代码示例，展示了jieba库在中文文本处理中的应用。

1 代码
import jieba
import jieba.posseg as pseg
jieba.load_userdict("data/entity_noun_dic.txt")
jieba.add_word(word="重置", tag="v")
jieba.del_word("送别") jieba.del_word("人流量")result = pseg.cut("请问光猫登陆密码是多少")
for w in result:
     print(w.word, "/", w.flag)
# word_list = jieba.cut("请问光猫登陆密码是多少")
# print("|".join(word_list)

2 字典格式，三列，分别是词，词频，词性

云计算 5
李小福 2 nr
创新办 3 i
easy_install 3 eng
好用 300
韩玉赏鉴 3 nz
八一双鹿 3 nz
台中
凱特琳 nz
Edu Trust认证 2000

3 词性标签介绍