文本聚类demo

最新推荐文章于 2022-09-19 19:52:43 发布

涛涛不绝蕾蕾于冬

最新推荐文章于 2022-09-19 19:52:43 发布

阅读量627

点赞数 2

CC 4.0 BY-SA版权

本文链接：https://blog.youkuaiyun.com/xiaoleiniu1314/article/details/90208232

本文介绍了一种使用K-means聚类方法对文本语料进行类别挖掘的实践过程，包括数据预处理、特征提取及聚类分析，探讨了不同聚类方法的效果，并提出了改进方向。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

由于工作需要，使用了聚类方法在文本语料中挖掘类别信息，下面是一个demo，供大家参考。实验数据由于公司原因不便公开。

实验步骤：

1、排序去重，经过排序去重后数据从10万条变为3万条。
2、结巴分词。
3、特征提取，使用平滑后的tf-idf作为特征，为每个用户问题构建特征向量，采用了scikit-learn 中的类 TfidfVectorizer。
4、采用了两种聚类方法K-means 。
K-means：算法的优点是收敛速度快，缺点是聚类形状在空间中是凸的。

实验代码：

github代码：https://github.com/xlniu/Text-Clustering

from sklearn.feature_extraction.text import TfidfVectorizer
import jieba
from sklearn.cluster import KMeans

# 输入输出文件
fin = open('user_question.txt', 'r') # 需要聚类的语料，每行一个句子
fout = open('result.txt'<