HanLP：pyhanlp python中文分词，以及加入自定义词典

最新推荐文章于 2025-02-28 18:45:00 发布

B&&C

最新推荐文章于 2025-02-28 18:45:00 发布

阅读量8.7k

点赞数 8

分类专栏： NLP

本文链接：https://blog.youkuaiyun.com/lzbmc/article/details/90083561

版权

fw = open(HanLP_save_path, 'w', encoding='utf-8')    # 分词结果保存
with open(origin_path, 'r', encoding='utf-8') as fr:  # 需要分词的文档
    for line in fr:
        line = line.strip()
        word_list = HanLP.segment(line)  # 返回是一个列表[女性/n, ，/w, 88/m, 岁/qt, ，/w, 农民/nnt, ]
        # print(word_list)
        for term in word_list:    # 分词结果格式：单词和词性。term.word, term.nature：获取单词与词性
            # print(term.word)
            fw.write(term.word + ' ')
        fw.write('\n')
fw.close()

使用自定义词典：

例如加入自己整理的词典：ccks2017.txt（只有词，没有词性词频）

注意：

词典中词之间不能有空格，因为官方词典每行格式：[单词] [词性A] [A的频次] [词性B] [B的频次]...

有看到说有空格，保存成csv格式，但是运行结果发现，分词效果不好。然后我就选择把带空格的给删了，哈哈~

1、把词典放到下面的路径：..\Anaconda3\Lib\site-packages\pyhanlp\static\data\dictiona