Python分词并进行词频统计

最新推荐文章于 2025-04-07 10:56:50 发布

data_scientist

最新推荐文章于 2025-04-07 10:56:50 发布

阅读量1.4w

点赞数

CC 4.0 BY-SA版权

分类专栏： NLP 文章标签： python 自然语言处理分词词频 jieba

本文链接：https://blog.youkuaiyun.com/data_scientist/article/details/54694213

NLP 专栏收录该内容

4 篇文章

订阅专栏

本文介绍了一则招聘信息的内容，并通过两种不同的方法进行了关键词统计分析。一种方法使用了NLTK库进行频率分布统计，另一种方法使用了Counter从文件中读取数据并进行计数。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

方法一：

strs='1、大专以上学历，年龄在18-28岁之间；2、计算机相关专业、自动化、测控、生仪、机电、数学、物理等等理工科专业优先；' \
     '3、热爱软件开发事业、有较强的逻辑思维能力，对IT行业抱有浓厚的兴趣并有志于在IT行业长远发展，创造个人价值（非销售、非保险岗位）；4、有无相关经验均可，欢迎优秀的应届大学毕业生' \
     '5、渴望能有一项扎实的技术、获得一份有长远发展、稳定、有晋升空间的工作；、学习能力强，工作热情高，富有责任感，工作认真、细致、敬业，责任心强；'
text1=jieba.cut(strs)
fd=nltk.FreqDist(text1)
keys=fd.keys()
item=fd.iteritems()
print ' '.join(keys)
dicts=dict(item)
sort_dict=sorted(dicts.iteritems(),key=lambda d:d[1],reverse=True)
print sort_dict

方法二：

from collections import Counter
import jieba.analyse
import time
bill_path = r'bill.txt'
bill_result_path = r'bill_result.txt'
car_path = 'car.txt'
with open(bill_path,'r') as fr:
        data = jieba.cut(fr.read())
data = dict(Counter(data))
with open(bill_result_path,'w') as fw:
    for k,v in data.items():
        fw.write("%s,%d\n" % (k.encode('utf-8'),v))