【主题建模】一种基于深度学习的主题建模方法：BERTopic（实战篇）

已于 2023-10-20 21:35:01 修改
阅读量1.9w 收藏 182
点赞数 45
CC 4.0 BY-SA版权
分类专栏： # 主题建模 文章标签： 自然语言处理 主题建模 BERTopic SBERT 文本挖掘
于 2023-02-10 16:05:40 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/be_racle/article/details/128961533
本文介绍了一种基于深度学习的主题建模方法BERTopic，详细阐述了加载数据、预处理、使用BERTopic建模的过程，包括嵌入、降维、聚类等步骤，并提到了可视化结果和评估方法。BERTopic利用了BERT的语义信息，提供多样化的主题表示，并支持多种可视化工具，如条形图、文档可视化和主题热图。

本系列包含：

主题建模：BERTopic（实战篇）

BERTopic 是基于深度学习的一种主题建模方法。 2018 2018 2018 年底， D e v l i n   e t   a l . Devlin\ et\ al. Devlin 

了解本专栏 订阅专栏 解锁全文 超级会员免费看
自然语言处理之话题建模：BERTopic：BERT模型原理与应用
zhubeibei168的博客
09-22 1943
词嵌入是将词汇映射到多维向量空间的技术，这些向量能够捕捉词与词之间的语义和语法关系。词嵌入模型如Word2Vec、GloVe和FastText，以及基于深度学习的模型如BERT，都极大地推动了NLP的发展。话题建模是一种统计建模方法，用于发现文档集合或语料库中抽象的话题。它基于一个假设：文档是由多个话题组成的，而每个话题由一系列经常一起出现的词语构成。话题建模的目标是识别出这些潜在的话题，并理解它们在文档中的分布情况。
【主题建模】一种基于深度学习的主题建模方法：BERTopic（理论篇）
Code · Cloud · Think · Repeat
02-07 9230
在我的博客中已经写了很多关于主题建模的内容，当你准备了解 BERTopic 时，默认你已经知道了 LSA、pLSA、NFM、LDA 等传统的主题建模方法。关于主题建模的前置知识我在这里不做赘述，感兴趣的同学可以看看我前几篇博客。学习 BERTopic 需要一定的机器学习基础，让我们一起开始吧！
【重磅】NLP实战之BERTopic主题模型分析（pycharm版）
m0_65609016的博客
03-22 2万+
之前写了一篇NLP实战之BERTopic主题模型分析，由于没有说明是在jupyter notebook中的运行的，所以很多小伙伴去pycharm中运行，没有结果也没有可视化的图片。这篇博客将完美解决！
BERTopic模型入门教程（附代码+参数调节）
m0_52069102的博客
03-03 1万+
BERTopic 是一种用于从文本数据中提取主题模型的新型方法。通过结合 BERT嵌入和传统的主题模型来生成语义丰富的主题。传统的主题模型(如LDA)主要依赖于词频矩阵，而 BERTopic 通过预训练语言模型生成高维语义嵌入来捕捉词语间的复杂关系，因此可以更好地处理上下文信息。BERTopic模型可以看作是创建其主题表示的一系列步骤。核心原理如下：就本质而言，BERTopic就是一个拼装框架，可以把每部分都替换成其他模型，只要完成任务即可。
all-MiniLM-L6-v2配置详解：模型参数优化指南
最新发布
gitblog_00597的博客
08-29 594
你是否正在为文本相似度计算任务寻找一个高效且准确的模型？all-MiniLM-L6-v2作为sentence-transformers家族中的明星模型，以其384维的紧凑向量表示和卓越的性能表现，成为了众多开发者的首选。但在实际应用中，如何正确配置和优化模型参数，往往决定了项目的成败。 本文将深入解析all-MiniLM-L6-v2的配置细节，从模型架构到参数调优，为你提供一份完整的配置优化指南...
NLP实战之BERTopic主题分析
热门推荐
m0_65609016的博客
10-21 3万+
BERTopic是一种结合了预训练模型BERT和主题建模的强大工具。它允许我们将大规模文本数据集中的文档映射到主题空间，并自动识别潜在的主题。它背后的核心思想是通过BERT模型来捕获文档的语义信息，并然后使用主题建模技术来对这些语义信息进行聚类，从而得出主题。对于大部分小伙伴而言，知道如何去使用BERTopic模型进行主题分析就足够了。所以BERTopic原理就不做过多解释了，感兴趣的小伙伴可以自己去了解一下。BERTopic是一种强大的主题分析工具，它能够自动识别文本数据中的主题，而无需预先定义主题数。
基于Bert的文本聚类工具：BERTopic
yanqianglifei的专栏
02-21 7287
【干货推荐] 基于Bert的聚类工具：BERTopic 【简介】：BERTopic是一种主题建模技术，它利用????变换器和c-TF-IDF创建聚类簇，使主题易于理解，同时在主题描述中保留重要的单词。 同时可以支持类似于LDAvis的可视化。 【快速上手】 安装pip install bertopic[visualization] from bertopic import BERTopic from s...
BERTopic：利用BERT和c-TF-IDF创建易于解释的主题
02-03
伯特比 BERTopic是一种利用主题建模技术 :hugging_face: 转换程序和c-TF-IDF创建密集的群集，使主题易于理解，同时在主题描述中保留重要字词。 它甚至支持类似于LDAvis的可视化！ 相应的媒体帖子可以在找到。 安装 可以使用完成安装： pip install bertopic 要使用可视化选项，请按照以下步骤安装BERTopic： pip install bertopic[visualization] 安装错误推荐使用PyTorch 1.4.0或更高版本。 如果安装出现错误，请首先安装pytorch。 入门 要详细了解BERTopic的功能，您可以在查看完整的文档也可以Google Colab笔记本。 快速开始 我们首先从著名的20个新闻组数据集中提取主题，该数据组由英文文档组成： from bertopic import BERTopic from sklearn . datasets import fetch_20newsgroups docs = fetch_20newsgroups ( subset = 'all' , remove
主题模型--BERTopic python解析
Andy_shenzl的博客
10-24 1万+
BERTopic是基于BERT词向量进行主题建模技术，它利用 Transformer 和 c-TF-IDF 来创建密集的集群（分类），允许轻松解释主题，同时在主题描述中保留重要词。主题模型（Topic Model）是自然语言处理中的一种常用模型，是一种无监督学习方法，它用于从大量文档中自动提取主题信息。分词可以实现处理好再进行建模，也可以定义好分词的方法在建模时传入，一般建议先分词在建模，这样可以打印中间分词结果进行检查。主题模型的核心思想是，每篇文档都可以看作是多个主题的混合，而每个主题则由一组词构成。
BERTopic实践手记
m0_73085867的博客
01-18 4499
句向量嵌入模型下载到本地。前提：由于国内很难登上Huggingface下载数据集和模型，需要提前将用到的“”数据集和SentenceTransformer的“
Bertopic主题模型原理详解
weixin_52185313的博客
05-27 1万+
Bertopic原理详解 – 潘登同学的NLP笔记 文章目录Bertopic原理详解 -- 潘登同学的NLP笔记Bertopic主题建模Nearest-Neighbor-Descent (构建K近邻图)算法详解理论推导算法步骤UMAP降维算法原理学习高维空间中的流形结构寻找最近的邻居UMAP的高维表示UMAP的低维表示构造Loss使得高维表示与低维表示相近总结UMAP算法TF-IDF算法TF是词频IDF是逆向文件频率TF-IDF实际上是：TF * IDFSklearn实现TF-IDF算法CountVecto
BERTopic主题建模实战：基于Transformer的文本聚类分析
BERTopic是一种基于Transformer架构的现代主题建模技术，它将自然语言处理中的语义理解能力与无监督机器学习方法深度融合，显著提升了传统主题建模在语义捕捉、短文本分析和多语言支持方面的表现。与传统的LDA...
自然语言处理之话题建模：BERTopic：话题模型评估与优化
zhubeibei168的博客
09-21 2155
BERTopic是一种基于BERT（Bidirectional Encoder Representations from Transformers）的先进话题建模技术。它结合了BERT的语义理解能力和非参数聚类算法，如HDBSCAN（Hierarchical Density-Based Spatial Clustering of Applications with Noise），来生成高质量的话题模型。
自然语言处理之话题建模：BERTopic：词嵌入与语义表示
zhubeibei168的博客
09-23 1152
语义表示是NLP中用于捕捉文本深层含义的技术。它超越了词嵌入，能够处理短语、句子甚至文档的语义。语义表示模型如BERT、RoBERTa和BERTopic，利用深度学习技术，尤其是Transformer架构，来生成更复杂的文本表示。这些模型在大规模语料库上预训练，能够理解上下文依赖和词汇的多义性，从而提供更准确的语义表示。
BERTopic
yaohaishen的专栏
07-13 6379
BERTopic 方法的步骤如下：首先使用预训练模型计算 document embeddings (比如常用的 Sentence-BERT 等)因为 document embeddings 维度很高，在嵌入空间中就非常稀疏，不容易进行聚类，所以需要先进行降维，比如 PCA 或者 t-SNE 等方法，这里用的是 UMAP[4]基于层次和密度进行聚类，这里用的是典型的 HDBSCAN[5] 算法划重点：使用 class-based TF-IDF 变体提取每个簇的主题词因为上文所说的这个 gap 产生的原因，本质
动态TopicModel BERTopic 中文 长文本 SentenceTransformer BERT 均值特征向量 整体特征分词关键词
BigYouYou
12-01 6225
为了解决这些问题，学界提出了DTM、ETM、DETM、BERTopic等方法，其中是近年提出的热度很高的方法，它主要思路是寻找文本整体的BERT特征向量，然后对各文本特征在样本空间中做聚类，找到Topic，然后基于TF-IDF模型寻找每个Topic的关键词，最后寻找Topic在每个时间段的关键词表示。
BERT Topic推荐-AMiner
AI_Conf的博客
11-26 994
AMiner平台（https://www.aminer.cn）由清华大学计算机系研发，拥有我国完全自主知识产权。平台包含了超过2.3亿学术论文/专利和1.36亿学者的科技图谱，提供学者评价、专家发现、智能指派、学术地图等科技情报专业化服务。系统2006年上线，吸引了全球220个国家/地区1000多万独立IP访问，数据下载量230万次，年度访问量超过1100万，成为学术搜索和社会网络挖掘研究的重要数据和实验平台。 必读论文：https://www.aminer.cn/topic BERT全称是Bidire.
BERTopic：NLP主题模型的未来！
夕小瑶科技说
07-08 9401
文| ZenMoore编| 小轶以前我一直以为，主题建模(提取文档的主题词)这种机器学习时代就开始研究的基础工具，现在肯定已经到头了，虽然...有时效果可能不是那么让人满意。但突然看到一则推文：“彻底疯了！不需要预先清洗数据，就能够快速拿到质量难以置信的主题！” “NLP 主题模型的未来！”好家伙！让人又爱又恨又离不开的主题模型，终于要升华了吗？！！看了论文之后，恍然大悟...
BERTopic主题聚类模型的认识(自用)
qq_64296768的博客
02-09 3264
本文探讨了基于BERTopic的主题建模技术及其多种实现方式。BERTopic结合了BERT嵌入和聚类算法，能够高效提取文本数据的主题。通过使用不同的嵌入模型（如SentenceTransformer、OpenAI模型）和调整降维（UMAP）及聚类（HDBSCAN）参数，可以灵活优化主题建模效果。此外，还介绍了利用TF-IDF向量进行主题建模的方法，以及如何通过自定义降维模型实现无降维的主题提取。这些方法为文本分析提供了多样化的工具，有助于深入挖掘文本数据的内在结构和主题信息。
如何评估 BERTopic 模型生成的主题质量？
08-09
### 评估 BERTopic 模型生成的主题质量的方法 评估 BERTopic 模型生成的主题质量可以从多个维度进行，包括主题一致性、主题连贯性、主题分布的可视化以及外部指标评估等。 #### 1. 主题一致性（Topic Coherence） 主题一致性是衡量主题内部词语之间语义相关性的指标。高一致性表示主题中的词语在语义上紧密相关，有助于提升主题的可解释性。BERTopic 提供了 `get_topic_info()` 方法，可以查看每个主题的关键词及其权重，从而评估主题的一致性。此外，可以使用外部库如 `gensim` 来计算 NPMI（Normalized Pointwise Mutual Information）等指标，以量化主题一致性[^1]。 ```python from bertopic import BERTopic topic_model = BERTopic.load("your_model") topic_info = topic_model.get_topic_info() print(topic_info) ``` #### 2. Silhouette Score Silhouette Score 是一种衡量聚类效果的指标，其值介于 -1 和 1 之间，值越接近 1 表示聚类效果越好。在 BERTopic 中，可以通过计算文档嵌入与所属主题的相似性来评估模型的聚类质量。该指标反映了文档与所属主题的匹配程度，以及与其他主题的区分度[^1]。 ```python from sklearn.metrics import silhouette_score # 计算 Silhouette Score score = silhouette_score(topic_model.c_tf_idf_, topic_model.topics_) print("Silhouette Coefficient:", score) ``` #### 3. 可视化主题分布 BERTopic 提供了多种可视化工具，如 `visualize_topics()` 和 `visualize_barchart()`，可以直观地展示主题的空间分布和关键词分布。这些工具帮助识别主题之间的重叠程度以及主题内部的关键词结构，从而判断主题的区分度和可解释性[^1]。 ```python fig = topic_model.visualize_topics() fig.show() ``` #### 4. 外部指标评估 如果数据集具有已知的标签或分类，可以使用外部指标如 Adjusted Rand Index（ARI）和 Normalized Mutual Information（NMI）来评估模型生成的主题与真实标签的一致性。这些指标可以帮助判断模型在监督或半监督场景下的表现[^1]。 ```python from sklearn.metrics import adjusted_rand_score, normalized_mutual_info_score # 假设 y_true 是真实标签 ari = adjusted_rand_score(y_true, topics) nmi = normalized_mutual_info_score(y_true, topics) print("Adjusted Rand Index:", ari) print("Normalized Mutual Information:", nmi) ``` #### 5. 主题多样性与分布均衡性 通过分析每个主题的文档数量，可以评估主题分布的均衡性。如果大部分文档集中在少数主题中，可能表明模型未能有效捕捉数据的多样性。可以使用 `get_topic_info()` 方法查看主题分布情况，并结合调整 `min_topic_size` 和 `hdbscan__min_cluster_size` 等参数来优化主题分布。 ###
评论 95
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

大数据与AI实验室

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值