jieba统计词频

最新推荐文章于 2024-03-09 16:40:46 发布

xiaobai_IT_learn

最新推荐文章于 2024-03-09 16:40:46 发布

阅读量996

点赞数

CC 4.0 BY-SA版权

分类专栏：人工智能文章标签： jieba python 数据分析

原文链接：https://www.jianshu.com/p/f516292d8b9c

人工智能专栏收录该内容

8 篇文章

订阅专栏

本文介绍如何使用Python的jieba库进行文本的词频统计，包括从CSV文件读取数据，利用TextRank算法抽取关键词，以及通过遍历方式统计特定关键词的出现频率。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1.jieba统计词频

# -*- coding: UTF-8 -*-
import numpy as np
import pandas as pd
import jieba
import jieba.analyse
import codecs

#设置pd的显示长度
pd.set_option('max_colwidth',500)

#载入数据
rows=pd.read_csv('datas1.csv', header=0,encoding='utf-8',dtype=str)

segments = []
for index, row in rows.iterrows():
    content = row[2]
    #TextRank 关键词抽取，只获取固定词性
    words = jieba.analyse.textrank(content, topK=50,withWeight=False,allowPOS=('ns', 'n', 'vn', 'v'))
    splitedStr = ''
    for word in words:
        # 记录全局分词
        segments.append({'word':word, 'count':1})
        splitedStr += word + ' '
dfSg = pd.DataFrame(segments)

# 词频统计
dfWord = dfSg.groupby('word')['count'].sum()
#导出csv
dfWord.to_csv('keywords.csv',encoding='utf-8')

2.jieba统计词频

data = pd.read_excel(GOODS_STANDARD_EXCEL_PATH)
jieba.analyse.set_stop_words(STOP_WORDS_FILE_PATH)
keywords_count_dict = {i[0]: 0 for i in reversed(keywords_count_list[:20])}
    cut_words = jieba.cut(' '.join(DF_STANDARD.title))
    for word in cut_words:
        for keyword in keywords_count_dict.keys():
            if word == keyword:
                keywords_count_dict[keyword] = keywords_count_dict[keyword] + 1
    print(keywords_count_dict)