python 中文词频提取

最新推荐文章于 2023-09-06 15:36:03 发布

原创

最新推荐文章于 2023-09-06 15:36:03 发布 · 5.7w 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#python #词频 #中文 #词语识别

该博客介绍了如何使用Python进行中文词频提取和词语识别。通过对比上下文词汇频率，判断是否为常见词语，例如‘谢谢你’与‘谢你’，‘乌托邦’与‘乌托’、‘托邦’，以此来确定词汇的正确性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

本文提供两种方法：

1.直接提取

2.通过上级词汇与下级词汇比较，得出正常词语。

比如“谢谢你”和“谢你”，“谢谢”，“谢谢”出现的评论比“谢你”高，所以前者是一个词语而后者不是

同样比如“乌托邦”是一个固定词汇，那么“乌托邦”出现的概率几乎等于“乌托”和“托邦”，这这两个都不是词语

如下是代码，写的有点乱

#-*-coding:utf8-*-
import re
import string
import sys
reload(sys)
sys.setdefaultencoding('gb2312')




def rate(l):
    f = open(path, 'r')
    line = f.readline()
    requestL = l
    dict = {}
    i = 0
    while line:
        i = i + 1
        # print i
        line = f.readline()
        l = line.decode('gbk')

        if line == "":
            break

        try:
            line = unicode(line)
            line = re.sub("[\s+\.\!\/_,$%^*(+\"\']+|[+——！，。？、~@#￥%……&*（）：“”]+".decode('utf-8'), "".decode('utf-8'),
                          line)
            line = line.decode('gbk')
        except:
            line = l

        if line == '':
            line = " "
        # print line
        bef = {}
        if len(line) > requestL - 1: