【主题建模】基于连贯性分数（Coherence Score）的主题建模评估

已于 2023-10-20 23:00:59 修改
阅读量4.6k 收藏 23
点赞数 9
CC 4.0 BY-SA版权
分类专栏： # 主题建模 文章标签： 自然语言处理 连贯性分数 LDA GSDMM 主题建模
于 2023-01-31 18:51:58 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/be_racle/article/details/128818582
本文探讨了主题连贯性分数（Coherence Score）作为评估主题建模的标准，通过计算LDA和GSDMM模型的Coherence Score来比较其效果。LDA模型的计算较为直接，而GSDMM适用于短文本聚类，其优点包括自动推断聚类数、快速收敛和处理高维稀疏文本的能力。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

基于连贯性分数（Coherence Score）的主题建模评估

1.主题连贯性分数

主题连贯性分数（Coherence Score）是一种客观的衡量标准，它基于语言学的分布假设：具有相似含义的词往往出现在相似的上下文中。 如果所有或大部分单词都密切相关，则主题被认为是连贯的。

推荐阅读：Full-Text or Abstract ? Examining Topic Coherence Scores Using Latent Dirichlet Allocation

2.计算 LDA 模型的 Coherence Score

2.1 导入包

import pandas as pd
import numpy as np
了解本专栏 订阅专栏 解锁全文 超级会员免费看
【主题建模】主题连贯度（Topic Coherence）详解
书山有路，学海无涯。记录成长，追逐梦想
02-25 4289
在大多数关于主题建模的文章中，常用主题连贯度（Topic Coherence，主题一致性）或主题连贯度指标（Topic Coherence Metrics）来表示整体主题的可解释性，用于评估主题的质量。但是，该指标到底指什么？它是如何衡量主题的可解释性的？该值是否越大越好？本文将就这些问题做出解答。
主题模型LDA教程：一致性得分coherence score方法对比（umass、c_v、uci）
Cachel Wood的博客
11-11 6956
基本上，这意味着我们希望每篇文档的文章数越少越好，每个词属于的主题数越少越好。它是一种主题建模，其中单词被表示为主题，而文档则被表示为这些单词主题的集合。这将在我们的得分中引入单词的语义。这种方法背后的理念是，我们要选择一个点，在这个点之后，一致性得分的递减增长不再值得额外增加主题数。毕竟，手动验证结果是很重要的，因为一般来说，无监督机器学习系统的验证工作都是由人工完成的。我们用描述主题的前 N 个词的平均成对一致性得分来计算主题的全局一致性。然后，我们计算每个主题的主题内相似度，即该主题中每对可能的前。
一致性分数Coherence Score（连贯分数）（相关性得分）
lrt366的博客
07-24 9087
Coherence Score 可以用来评估aspect的质量，在下面这篇论文中被证明与人类的判断有很强的相关性。 （David Mimno, Hanna M. Wallach, Edmund Talley,Miriam Leenders, and Andrew McCallum. 2011Optimizing semantic coherence in topic models. InPro...
Coherence Score验证LDA主题分类水平
weston95的博客
08-29 354
假设您有一个名为 "cleaned_title" 的列，包含了新闻标题。titles = data['内容'].tolist()# 计算 coherence score。# 下载停用词和分词器所需的数据。# 初始化分词器和停用词。# 读取Excel文件。# 训练 LDA 模型。# 分词并去除停用词。
基于语义连贯性实现主题挖掘和分类
千与的专栏
12-16 4519
约定一下文中使用的一些词的含义： 文章：一般来说，一篇文章具有一个标题、一个或多个段落组成，其他的我们暂时不考虑。段落：一篇文章可以根据缩进（有些可能不存在缩进）或回车换行，将文章分成多个段，而每段是由数个句子组成。片段：片段是由一个或者多个段落组成，但是片段最多不能大于一篇文章的全部段落数，我们限定在一篇文章之内。 基础概述 对于给定的一篇文章，它到底在围绕
主题模型(Topic Model)---LDA(Latent Dirichlet Allocation)理论+实战
weixin_44607838的博客
02-21 8057
主题模型 顾名思义，主题模型用来探寻文本背后所隐藏的主题，也可以理解为一种段落语义的挖掘。相比于TF-IDF只能从个体词汇层面给予我们文本内容的提示，主题模型能够从更宏观的角度帮助我们快速捕捉文本的核心语义。 LDA建模思路 LDA是一种比较流行的主题模型，由吴恩达等人在2003年首次提出。它可以将文档集中每篇文章的主题以概率分布的形式给出，比如，我们可以从结果找选出概率最大的5个主题作为该文档的主题描述。下面我们来快速理解一下LDA的基本建模思路。（因为LDA背后涉及大量的数学知识，如果大家想对数学细节做
【主题建模】一种基于深度学习的主题建模方法：BERTopic（实战篇）
书山有路，学海无涯。记录成长，追逐梦想
02-10 1万+
BERTopic 是基于深度学习的一种主题建模方法。2018 年底，Devlin et al. 提出了 Bidirectional Encoder Representations from Transformers (BERT)。BERT 是一种用于 NLP 的预训练策略，它成功地利用了句子的深层语义信息。
【主题建模】文本分析：非结构化信息分析科学与应用导论
书山有路，学海无涯。记录成长，追逐梦想
02-03 544
有几种方法来聚类单词或文档。然而，其中一些没有考虑与这些聚类相关的数据分布。解决这个问题的一种方法是创建主题模型，这些模型比传统方法更容易解释。有几种建模主题的技术，包括 LSA、pLSA 和 LDA。其中最流行的一个是 LDA，因为它有一个健壮的模型，可以说明如何采样文本数据，以便有效地生成与文档相关的主题的分布和与主题相关的单词的分布。
Gensim使用LDA进行主题建模
Mr数据杨
01-13 302
本教程详细介绍了如何使用Gensim库实现LDA模型，读者学习了LDA的理论基础、如何对文本进行预处理，以及如何使用LDA提取主题。在实际应用中，LDA模型能够帮助分析大规模文本数据，自动提取其中的潜在主题，广泛应用于客户评论分析、新闻分类等任务。通过进一步优化与调整LDA模型的超参数，可以提高模型的效果，使其更加适应实际应用需求。
第十九篇：主题建模Topic Modelling
flying_1314的博客
06-20 3036
理解文本 • 英文维基百科：600 万篇文章 • Twitter：每天 5 亿条推文 • 纽约时报：1500 万篇文章 • arXiv：100 万篇文章 • 如果我们想了解有关这些文档集的一些信息，我们可以做什么？
关于LDA的一篇非常好的文章，很有用
04-16
北大的李晓明老师不用说了吧，仅这个名字就是质量的保证。 关于LDA非常好的一篇文章，值得一读！
主题模型TopicModel：LDA主题模型的评估
热门推荐
皮皮blog
01-06 3万+
LDA主题模型好坏的评估，判断改进的参数或者算法的建模能力。 Blei先生在论文《Latent Dirichlet Allocation》实验中用的是Perplexity值作为评判标准。 一、Perplexity定义 http://en.wikipedia.org/wiki/Perplexity perplexity是一种信息理论的测量方法，b的perplexity值定义为基于b的
电力现货市场现货需求_现货与情绪：现货铜市场中的自然语言处理与情绪评分
weixin_26746401的博客
08-20 2024
电力现货市场现货需求Note from Towards Data Science’s editors: While we allow independent authors to publish articles in accordance with our rules and guidelines, we do not endorse each author’s contribution. Yo...
LDA等主题模型实战（一）
gzt940726的博客
04-01 2856
文章目录前言正文评估方式LDA模型LDA之gibbs采样算法LDA之EM算法Biterm Topic ModelTopic Modeling with Minimal Domain Knowledge无先验知识有先验知识小结 前言 前段时间看了LDA主题模型的理论知识，想着还是需要具体实践来感受下。然后想着搜一下看还有没有别的主题模型，看能不能都跑一下demo对比下效果，结果看到了一篇汇总类的知乎： https://www.zhihu.com/question/34801598（回答者：苏格兰折耳喵） 其中
coherence一个重要的参数
关注系统性能调优
10-12 3747
coherence比较小众，网上查询的资料很少。如果生产环境上使用默认的配置，那就会出现问题:    1. 经常会出现缓存条目被频繁age out出缓存。    2. 网络流量拥堵。    以下是默认的设置。          example-binary-backing-map       HYBRID       {back-size-limit 0}       BINAR
实体链接中使用实体一致性信息（coherence）
u010960155的博客
05-27 2920
实体链接（Entity Linking; Entity Disambiguation）是自然语言处理中一个很重要的任务，目的是将文本中发现的mention链接到知识库（Knowledge Base）中的标注实体（Entity）。 实体链接一般需要考虑三种信息，先验信息（prior），mention和entity之间的相似度，实体之间的一致性（coherence） 先验信息。一个是实体本身出现的频率，一个是mention确定下链接到某实体的条件概率，即 p(e|m) 相似度。mention和
lda新闻主题提取_如何找到好的主题模型量化评价指标？这是一份热门方法总结...
weixin_39929635的博客
11-28 646
机器之心分析师网络分析师：王子嘉编辑: H4O基于统计学的主题模型诸如 LDA(Latent Dirichlet Allocation)，Biterm 的应用使得针对大量文本进行信息的总结提取成为可能。但是提取的主题到底质量如何，如何进行量化分析和评价，仍然没有确定的标准。同时，随着神经网络的发展，encoding-decoding, GAN 这种非监督模型开始进入到主题模型的应用中来，如何判断这...
独家 | 使用Python的LDA主题建模（附链接）
数据派THU
03-22 4119
作者：Kamil Polak翻译：刘思婧 校对：孙韬淳 本文约2700字，建议阅读5分钟本文为大家介绍了主题建模的概念、LDA算法的原理，示例了如何使用Python建立一个基础的LD...
lda主题数量
最新发布
03-21
### 如何选择LDA模型的最佳主题数量 在构建LDA（Latent Dirichlet Allocation）主题模型时，选择合适的主题数量 \( K \) 是一项关键任务。\( K \) 值的选择直接影响到最终生成的主题质量和可解释性。如果 \( K \) 值过大，则可能导致主题划分过细，难以捕捉全局模式；而 \( K \) 值过小则可能使不同主题的信息混淆在一起[^2]。 通常情况下，可以通过以下几种方法来确定最佳主题数： #### 1. 调整参数并评估一致性 通过调整 \( K \) 的取值范围，并计算每种设置下的困惑度（Perplexity），这是一种衡量模型拟合优劣的标准。较低的困惑度意味着更好的数据建模效果。然而需要注意的是，随着 \( K \) 增加，困惑度往往会单调下降，因此还需要结合其他指标综合判断[^3]。 #### 2. 使用人工评价法 对于某些特定应用场景来说，最理想的方式是由领域专家手动审查由不同 \( K \) 所产生的若干组主题及其关键词列表。挑选那些既具有较高区分度又能够合理反映文档集合内部结构特征的一系列候选解作为最终答案。 #### 3. 利用交叉验证技术 将整个语料库随机划分为多个子集或者批次(batch)，分别在这部分样本上执行独立训练过程之后再汇总统计结果。观察哪些核心术语频繁出现在各个分区之间形成稳定交集的情况可以帮助确认合适的主题数目。 下面给出一段简单的 Python 实现代码用于探索最优 `num_topics` 参数: ```python from gensim.models import LdaModel from gensim.corpora.dictionary import Dictionary import numpy as np def compute_coherence_values(dictionary, corpus, texts, limit, start=2, step=3): coherence_values = [] model_list = [] for num_topics in range(start, limit, step): model = LdaModel(corpus=corpus, id2word=dictionary, num_topics=num_topics) coherencemodel = CoherenceModel(model=model, texts=texts, dictionary=dictionary, coherence='c_v') coherence_values.append(coherencemodel.get_coherence()) model_list.append(model) return model_list, coherence_values # Prepare your data here... dictionary = Dictionary(texts) corpus = [dictionary.doc2bow(text) for text in texts] model_list, coherence_values = compute_coherence_values( dictionary=dictionary, corpus=corpus, texts=texts, start=2, limit=40, step=6) limit=40; start=2; step=6; x = range(start, limit, step) plt.plot(x, coherence_values) plt.xlabel("Num Topics") plt.ylabel("Coherence score") plt.legend(("coherence_values"), loc='best') plt.show() ``` 此脚本展示了如何绘制不同主题数量对应的连贯性得分曲线图以便于直观比较选出较佳选项。
评论 8
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

G皮T

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值