《学术小白学习之路13》基于DTM和主题共现网络——实现主题时序演化网络分析（数据代码在结尾）

已于 2024-12-26 16:15:58 修改
阅读量1.2k 收藏 12
点赞数 2
分类专栏： 学术文献研究方法教程 文章标签： 学习
于 2023-09-28 14:19:15 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_44951759/article/details/133378207
版权
该博客详细介绍了如何进行学术论文摘要数据的主题建模和分析。通过数据预处理，使用jieba进行分词，gensim进行向量化，构建DTM模型。接着计算不同时间段的主题相似度，研究主题的时序演化，并对主题热度进行计算。此外，还进行了主题词的知识网络分析，过滤原数据并计算共现网络，为后续的可视化展示提供数据。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

《学术小白学习之路13》基于DTM和主题共现网络实现主题演化网络分析

一、数据导入

## 导包
import pandas as pd

## CDTMTEST.xlsx 替换成自己的数据集，第一行命名为Abstract
papers = pd.read_excel('DTMTEST.xlsx',names = ['Abstract'],engine
了解本专栏 订阅专栏 解锁全文 超级会员免费看
《学术小白学习之路11》DTM主题动态模型原理与基础构建
当回首往事的时候，不会因虚度年华而悔恨，也不会因碌碌无为而羞愧。
09-26 1752
作者在论文中提及，狄利克雷分布不适合时序模型，所改常用高斯噪声 演化的状态空间模型来获取生成的β。要求gensim在4.0以后的版本，因为其中的ldasemodel对版本的要求挺高。t-1和t时刻都有对应的主题模型，下一个阶段的模型的参数aβ都与上一时刻有关系。而BTM是为分析短文本而生，该模型的生成是基于整个的语料库生成词语概率。对英文数据进行简单的处理，分词，不同于中文的分词，英文的分词更加简单；下一个时刻的主题，是根据上一个时刻的主题平滑的演化而来。该模型的主题概率的生成是基于文档层面的。
《学术小白学习之路12》进阶-基于Python实现中文文本的DTM主题动态模型构建
当回首往事的时候，不会因虚度年华而悔恨，也不会因碌碌无为而羞愧。
09-26 1225
其中logging用于查看执行日志，导入的gensim版本是gensim-3.8.3，根据自己系统要求以及pyhton版本选择合适的版本，强调一下最好使用3.8.3版本，不然会报错。处理后的数据保存在dictionary向量中，并将向量表达进行保存为news_dictionary文件词典，是每个词和对应ID的映射词典。通过上面的工作，我们已经将文档转换成了DTM模型所需要的词典以及语料库，下面把语料库、词典加载到模型中。主要注意的是本文用的是txt的数据集，而且每一个文档用换行的符号进行划分。
动态主题模型（Dynamic Topic Models, DTM）
热门推荐
象在舞的技术专栏
12-21 1万+
在本文中，我们介绍一个动态主题模型，该模型捕获了顺序组织的文档语料库中主题的演变。 我们通过分析由Ed Edi-son于1880年创立的Jour-nal Science的100多年的OCR文章来证明其适用性。在这种模式下，文章按年份分组，每年的艺术作品都来自于去年主题演变而来的一系列主题。 在随后的部分，我们扩展了经典状态空间模型，以指定主题演化的统计模型。然后，我们...
gensim中动态主题模型（DTM）两种实现方法（二）
03-20 3842
目录 （二）gensim.models.wrappers.dtmmodel.DtmModel包 1、如何使用呢？ 2、c语言运行的二进制文件作为参数 3、基本函数的使用 （二）gensim.models.wrappers.dtmmodel.DtmModel包 在gensim中还有一个包，也可以用于DTM主题建模。该包的路径中有一个单词wrapper...
Gensim中动态主题模型——dtmmodel的使用
weixin_38341450的博客
06-02 5569
import gensim import jieba import pandas as pd from gensim import corpora,models from gensim.models.wrappers import DtmModel from gensim.corpora import Dictionary from collections import defaultdict...
gensim中动态主题模型（DTM）两种实现方法（一）
03-20 8011
目录 （一）gensim.models.ldaseqmodel包 1、基本使用方法 2、缩水的地方 （二）gensim.models.wrappers.dtmmodel.DtmModel包 1、没有c语言联调怎么使用呢？ 2、c语言运行的二进制文件作为参数 3、基本函数的使用 参考文献： 动态主题模...
DTM 相似度计算（matlab）代码记录
m0_59179752的博客
03-12 933
DTM算法，一种衡量两个长度不同的时间序列的相似度的方法。 clc,clear a=[8 9 1]'; % 输入两个列向量 b=[2 5 4 6]'; [rowa,la]=size(a); [rowb,lb]=size(b); % 计算对应点的欧式距离d,a为列，b为行 for i=1:rowa for j=1:rowb d(i,j)=abs(a(i)-b(j)); end end % 计算从左上到右下的累加距离D D(1,1)=d(1,1); for i=2:row.
动态主题模型DTM（Dynamic topic model)简介及python代码
Cachel Wood的博客
09-17 1470
DTM模型（）是一种用于文本数据分析的概率模型，主要用于发现文本数据背后的主题结构和主题的演化过程。DTM模型是LDA模型的一种扩展，能够捕捉文本数据中主题的变化和演化特征。DTM模型的核心思想是将文本数据视为时间序列，将主题模型应用于整个时间序列。它假设文本数据在时间上的分布是由一系列隐含的主题分布演化而来的。DTM模型通过在时间序列上建立时间窗口，并在每个时间窗口内估计主题的分布，来描述主题的演化过程。
【Python_NLP】gensim与DTM
越努力，越幸运
08-21 8082
注：本文＝多篇文章精华提炼＋个人总结 参考博客出处： 链接：https://blog.youkuaiyun.com/l7H9JA4/article/details/80220939 作者：李雪冬 编辑：李雪冬 https://blog.youkuaiyun.com/qq_42988748/article/details/82657562 http://blog.chinaunix.net/u...
Dynamic Topic Models的Python实现
Lyric1的博客
07-17 7516
Dynamic Topic Models的Python实现
ShenNiusModularity项目源码学习（33：ShenNius.Admin.Mvc项目分析-18）
gc_2299的博客
06-02 459
学习并分析ShenNiusModularity项目中的文章管理页面
【Python 学习笔记】dictionary unpacking
cbldzz的博客
06-03 70
【代码】【Python 学习笔记】dictionary unpacking。
java基础学习(二十)
AbaseZ的博客
06-01 519
在子类中可以根据需要对从父类中继承来的方法进行改造，也称为方法的重置、覆盖。在程序执行时，子类的方法将覆盖父类的方法。
板凳-------Mysql cookbook学习 （九）
fengye207161的博客
05-30 759
在 MySQL 中，CREATE TABLE LIKE 是一种用于创建新表的语法，该新表的结构与现有表完全相同，但不包含源表中的数据1。上述语句将创建一个名为 employees_backup 的新表，其结构与 employees 表完全一致，但不包含任何数据1。此语法会复制 existing_table_name 表的所有列定义、索引以及约束到 new_table_name 表中1。新表结构：仅包含 SELECT 中显式指定的字段，不继承源表的索引和约束（除非手动声明）。一、CREATE TABLE …
c++之STL容器的学习（上）
2202_76101487的博客
06-03 221
基于c++的STL标准库的容器学习
NLP学习路线图（二十）：FastText
最新发布
2501_91516851的博客
06-03 613
FastText是Facebook AI团队提出的创新型词向量模型，它在Word2Vec基础上引入字符n-gram的子词信息，有效解决了传统词向量在形态丰富语言、罕见词和OOV词处理上的痛点。该模型通过将词分解为字符n-gram的组合，利用共享的n-gram向量实现词义的分解与重组，显著提升了词向量表示的泛化能力。FastText具有训练高效、内存占用少等优势，尤其擅长处理社交媒体文本等存在大量新词和拼写错误的场景。
CppCon 2014 学习:Defensive Programming Done Right.
虾球
06-02 674
这段摘要讲的是：这个大纲展示了如何从系统设计、接口约定，到实现防御、测试验证，全流程构建健壮、可控、可测的 C++ 组件库。 Physical Design（物理设计） 关注：程序的组织结构和部署方式 包括： 头文件（ / ） 实现文件（） 静态库、动态库（, , ） 表示“我们如何组织代码和构建产物” 示例： 总结对比 特性 Logical Design Physical Design 本质 行为的设计 结构和文件的组织方式 关注点 类、函数、契约 文件、模块、编译边界
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

驭风少年君

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值