使用Python快速统计关键词及其词频

思路:

1.通过jieba库分词获取所有的词语列表;
2.计算列表里出现词语及其对应的频次,存储为字典;
3.删除字典中键为无关且频次高的词语的键值对;
4.对字典里的词语按照频次进行排序;
5.输出频次前五的词语及其频次;

如果没有安装 jieba 库,需要使用 cmd 进入命令提示符窗口,通过 pip install jieba 进行安装。

源代码如下

import jieba

file = open("sample.txt", "r", encoding='utf-8') #此处需打开txt格式且编码为UTF-8的文本
txt = file
### 实现中文关键词词频统计 为了在Python中实现中文关键词词频统计,可以采用Jieba分词工具配合`collections.Counter`来进行高效处理[^1]。 #### 使用Jieba进行中文分词 Jieba是一个非常流行的用于中文文本分割的第三方库。安装此库之后,能够精确地将一段连续的汉字序列切分成一个个独立词语,这是后续统计的基础工作。对于待分析的文字材料,先要对其进行预处理,去除不必要的字符并转换成统一编码格式以便于操作: ```python import jieba text = "这里是你想要分析的一段中文文本" words = jieba.lcut(text) ``` 上述代码实现了对输入字符串`text`按照汉语习惯进行了切割,并返回了一个列表形式的结果给变量`words`[^5]。 #### 统计词频 完成分词后,则可借助Python标准库中的`Counter`类轻松计算各个单词出现次数。这一步骤会创建一个字典结构的数据对象,其中键为各不相同的词汇项而对应的值即它们各自重复出现的数量: ```python from collections import Counter word_counts = Counter(words) for word, count in word_counts.items(): print(f"{word}: {count}") ``` 这段脚本展示了怎样利用`Counter`函数接收之前得到的分词结果作为参数,进而构建出完整的词频分布表;最后遍历打印每一对词条及其数量关系[^2]。 #### 处理CSV文件中的数据 如果目标文档是以表格形式存储(比如Excel或CSV),那么还需要额外引入pandas这样的强大数据分析包读取相关内容到DataFrame里再做进一步加工。这样做的好处是可以方便地针对特定列执行批量化的文本挖掘作业而不必担心原始资料格式的影响[^3]。 ```python import pandas as pd df = pd.read_csv('yourfile.csv') texts = df['column_name'].tolist() all_words = [] for text in texts: all_words.extend(jieba.lcut(str(text))) word_frequencies = Counter(all_words) ``` 以上实例说明了当面对更复杂的数据源时应采取怎样的策略来获取最终所需的词频统计数据集。
评论 5
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值