京东手机评论分析（二）：关键词提取

最新推荐文章于 2025-03-18 17:18:59 发布

原创

最新推荐文章于 2025-03-18 17:18:59 发布 · 4.5k 阅读

21 ·

CC 4.0 BY-SA版权

本文探讨了在京东手机评论分析中，通过词频、TF-IDF和TextRank三种方法提取关键词的过程。虽然词频结果不尽如人意，但TF-IDF表现更可靠。TextRank使用jieba和snownlp库的结果则不太理想。

开篇

这边尝试使用三种方法去提取关键词，我希望能通过一些关键词提取出相应的属性，为了修正我们的评论属性，我还会人为去补充相应的特征词典，关于同义词的一些问题暂且放开不考虑。

词频

直接贴出代码

import json
import jieba
import jieba.analyse
from collections import Counter
import string
from zhon.hanzi import punctuation

stopwords = []
stopword = open('data/chinesestopword.txt','rt')
for line in stopword:
    stopwords.append(line.strip())
with open('data/oppo_r15.json','r') as f:
    data = json.load(f)
review = []
for i in data:
    review.append(i['content'])
score = []
for i in data:
    score.append(i['score'])
text = ''.join(c for c in review)
words = jieba.cut(text)
words_list = []
for i