主题关键词提取

最新推荐文章于 2024-09-04 21:31:53 发布

涤生（bluez）

最新推荐文章于 2024-09-04 21:31:53 发布

阅读量2.4k

点赞数

分类专栏：数据科学入门到精通文章标签：数据科学

本文链接：https://blog.youkuaiyun.com/weixin_40903057/article/details/95367719

版权

本文介绍了使用TF-IDF进行关键词提取，并通过该方法计算不同文章的相似度。同时，探讨了LDA主题模型在训练语料预处理和主题向量变换的步骤，深入理解文本分析技术。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1、TF-IDF

import jieba.analyse

jieba.analyse.extract_tags?

数据的读取

import pandas as pd

df_news=pd.read_table(r'C:\Users\CDAer\Desktop\data\car.txt',
                   names=['category','theme','url','content'])

df_news.head()

	category	theme	url	content
0	汽车	新辉腾　４．２　Ｖ８　４座加长Ｉｎｄｉｖｉｄｕａｌ版２０１１款　最新报价	http://auto.data.people.com.cn/model_15782/	经销商　电话　试驾／订车Ｕ憬杭州滨江区江陵路１７８０号４００８－１１２２３３转５８６４＃保常...
1	汽车	９１８　Ｓｐｙｄｅｒ概念车	http://auto.data.people.com.cn/prdview_165423....	呼叫热线　４００８－１００－３００　服务邮箱　ｋｆ＠ｐｅｏｐｌｅｄａｉｌｙ．ｃｏｍ．ｃｎ
2	汽车	日内瓦亮相　ＭＩＮＩ性能版／概念车－１．６Ｔ引擎	http://auto.data.people.com.cn/news/story_5249...	ＭＩＮＩ品牌在二月曾经公布了最新的ＭＩＮＩ新概念车Ｃｌｕｂｖａｎ效果图，不过现在在日内瓦车展...
3	汽车	清仓大甩卖一汽夏利Ｎ５威志Ｖ２低至３．３９万	http://auto.data.people.com.cn/news/story_6144...	清仓大甩卖！一汽夏利Ｎ５、威志Ｖ２低至３．３９万＝日，启新中国一汽强势推出一汽夏利Ｎ５、威志...
4	汽车	大众敞篷家族新成员　高尔夫敞篷版实拍	http://auto.data.people.com.cn/news/story_5686...	在今年３月的日内瓦车展上，我们见到了高尔夫家族的新成员，高尔夫敞篷版，这款全新敞篷车受到了众...

数据的清洗

import jieba
#提取新闻的内容，并将其转变成列表
content_list=df_news['content'].values.tolist()
#导入停留词
stopwords=pd.read_csv(r'C:\Users\CDAer\Desktop\data\stopwords.txt',sep='\t',
                     quoting=3,names=['stopword'])
stopwords_list=stopwords['stopword'].values.tolist()
#去除分词长度为1的词，去除空值
contents_clean=[]
for line in content_list:
    seg=jieba.lcut(line)
    line_clean=''

最低0.47元/天解锁文章