python3 基于Kmeans 文本聚类

最新推荐文章于 2025-07-11 10:08:41 发布

原创

最新推荐文章于 2025-07-11 10:08:41 发布 · 1.1w 阅读

84 ·

CC 4.0 BY-SA版权

聚类常规方法，分一下几步：

文本处理，切词、去停用词，文档向量
聚类(K值，聚类中心，本节涉及的Kmeans方法中心暂时是随机生成，后面会有更新)

第一部分内容，本人暂不祥说，核心的内容，大概如下把

for line in file.readlines():
    words = jieba.cut(line)
    for word in words:
        # print(word)
        if word not in stopword:
            output.write(word + " ")

接下来是将上述处理过的文档，进行向量化，此处，我选择的是doc2vec，即是document to vector，文档到向量，这个内容涉及内容也比较多，原理也可以不用了解的那么深，会用就可以了，也没有什么关系，

# doc2vec
#训练并保存模型
def open_file():
    corpus = []
    token_path = "res_title_news.txt"
    try:

        with open(token_path, 'r', encoding="utf-8") as t:
            for line in t.readlines():
                corpus.append(line.strip())
        import gensim

        sentences = gensim.models.doc2vec.TaggedLineDocument(token_path)
        model = gensim.models.Doc2Vec(sentences, dm=1, size=200, window=10)
        model.train(sentences, total_ex