持续学习——Neural Topic Modeling with Continual Lifelong Learning——ICML2020

最新推荐文章于 2024-09-28 19:41:06 发布
原创 最新推荐文章于 2024-09-28 19:41:06 发布 · 634 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #NLP

本文探讨了终身学习在自然语言处理中的应用，特别是在无监督主题建模领域，旨在解决小规模短文本集合带来的数据稀疏性问题，通过信息检索、主题连贯性和泛化能力提升文档表示的质量。

在这里插入图片描述
在这里插入图片描述

Abstract

continual learning+ unsupervised topic modeling《Lifelong machine learning for natural language processing, EMNLP2016》《Topic modeling using topics from many domains, lifelong learning and big data， ICML2014》
难点data sparsity（in a small collection of short documents and thus, generate incoherent topics and sub-optimal document representations）；from several sources to deal with the sparse data;

Introduction

continual learning for supervised NLP tasks
在这里插入图片描述

Conclusion

a stream of document collections; 通过information retrieval, topic coherence and generalization

Key points: 什么是unsupervised topic modeling, discover topics from document collections; 一种写结合continual learning的论文范式；
code开源

自然语言处理之话题建模：Neural Topic Models：神经主题模型的未来趋势与研究方向_
zhubeibei168的博客
09-28 1801
话题建模是一种统计建模技术，用于发现文档集合或语料库中隐藏的主题结构。在自然语言处理（NLP）领域，话题建模被广泛应用于文本挖掘、信息检索、文本分类和推荐系统等场景。它通过分析文本中的词汇分布，识别出一组话题，每个话题由一组相关的词汇构成，从而帮助我们理解大量文本数据的内在结构和主题分布。话题建模的重要性在于它能够从海量的文本数据中提取出有意义的信息，帮助我们进行数据的组织、理解和分析。
机器学习16 -- Lifelong Learning 终生学习
谢杨易的博客
09-14 1万+
1 什么是lifelong learning Lifelong learning终生学习，又名continuous learning，increment learning，never ending learning。通常机器学习中，单个模型只解决单个或少数几个任务。对于新的任务，我们一般重新训练新的模型。而LifeLong learning，则先在task1上使用一个模型，然后在task2上仍然使用这个模型，一直到task n。Lifelong learning探讨的问题是，一个模型能否在很多个task上
Neural Topic Modeling with Bidirectional Adversarial Training
zhang_han666的博客
10-20 600
双向对抗训练的神经主题模型 文章发表在ACL2020。 方法简介 论文的模型旨在学习两个高维分布之间的双向非线性投影。模型由三个部分组成：编码网络、生成网络和鉴别网络，如图2所示： 编码网络EEE的输入是维度为VVV的文档表示dr→\overrightarrow{d_{r}}dr​​，输出是维度为KKK的主题分布θr→\overrightarrow{\theta _{r}}θr​​，VVV和KKK分别表示单词数和主题数。 生成网络GGG的输入是从迪利克雷先验随机抽出的主题分布θf→\overright
神经主题模型及应用（Neural Topic Model）
nakaizura
06-27 9143
主题模型一般会从一组文档中抽取若干组关键词来表达文档的核心思想，即“主题”。首先看看最经典的概率主题模型，LDA模型。 Latent Dirichlet Allocation 具体来说它是三层贝叶斯概率模型，即认为每个文档的每个词都是通过“以一定概率选择某个主题，并从这个主题中以一定概率选择某个词汇”，所以包括两个分布：文档-主题分布，主题-词汇分布。 对于每个文档，先从α\alphaα的Dirichlet分布中生成文档-主题分布θd\theta_dθd​。 然后对于每个主题k，从β\betaβ的Di
neural topic model
suuunnnyoy的博客
06-11 1615
论文参考：A Novel Neural Topic Model and Its Supervised Extension 主要思想： 将神经网络和topicmodel结合，将LDA中对于狄利克雷分布的参数估计转换到神经网络中对于隐藏层参数的估计，设定损失函数，通过迭代学习得到最优参数，并且这也对加入标签数据更加友好。 代码：github上有实现，但是参数更新的过程中出现的问题导致收敛到0，并且作者...
探索知识的边界：《Neural Topic Models》——深度学习主题建模利器
gitblog_00074的博客
04-26 597
探索知识的边界：《Neural Topic Models》——深度学习主题建模利器 去发现同类优质开源项目:https://gitcode.com/ 在这个链接中，我们发现了一个由开发者zll17贡献的名为的项目，这是一个基于深度学习的主题建模工具，旨在帮助研究人员和数据科学家从大规模文本数据中抽取出有意义的主题信息。 项目简介 主题建模是一种统计方法，用于从大量未标记的文本数据中挖掘隐藏的主题或...
AIGC实战——深度学习 (Deep Learning, DL)
热门推荐
盼小辉丶的博客
10-25 6万+
深度学习 (Deep Learning, DL) 是贯穿所有生成模型 (Generative Model) 的共同特征，几乎所有复杂的生成模型都以深度神经网络为核心，深度神经网络能够学习数据结构中的复杂关系，而不需要预先提取数据特征。在本节中，我们将介绍深度学习基本概念，并利用 Keras 构建深度神经网络。
NAS：利用强化学习实现神经网络架构搜索——Neural Architecture Search With Reinforcement Learning—2017（笔记）
qq_40245826的博客
09-11 3975
Neural Architecture Search With Reinforcement Learning—2017 利用强化学习实现神经网络架构搜索 摘要 本文使用循环网络生成神经网络的模型描述，并使用强化学习训练此RNN，最大化验证集上生成的网络结构准确性。 引言 深度网络的成功，能看到从特征设计到架构设计的范式转变，即从SIFT（Lowe，1999），HOG（Dalal＆Trigg...
李宏毅——终身学习lifelong learning
shaoyue1234的专栏
09-29 4219
李宏毅——终身学习lifelong learning导读要解决的问题如何解决遗忘问题Elastic Weight Consolidation（EWC）基本思想理解EWC的变形其他方法生成数据新增类knowledge transferlife-long vs transfer如何衡量life-long learningGEMModel ExpansionProgressive Neural Netw...
【论文阅读笔记】2020NeurIPS终身学习（Lifelong /continual learning）相关论文列表
zincrain的博客
12-08 1365
GAN Memory with No Forgetting已读待写； Calibrating CNNs for Lifelong Learning已读待写； Improved Schemes for Episodic Memory-based Lifelong Learning已读待写； Lifelong Policy Gradient Learning of Factored Policies for Faster Training Without Forgetting强化学习相关，暂未读懂； Cont.
Neural_Topic_Models:基于神经网络方法的主题模型的实现
05-17
| 近年来提出的神经主题模型变体的PyTorch实现包括NVDM-GSM，WTM-MMD（W-LDA），WTM-GMM，ETM，BATM和GMNTM。 该项目的目的是为神经主题模型提供一个实用且可行的示例，以促进相关领域的研究。 模型的配置与论文中提出的模型并不完全相同，并且没有对超参数进行仔细的微调，但是我选择覆盖其中的核心思想。 从经验上讲，NTM优于经典的统计主题模型，尤其是在短文本上。 出于评估目的，提供了短消息（ ），对话话语（ ）和对话（ ）的数据集，所有这些均以中文显示。 作为与NTM的比较，还提供了基于gensim库的现成的LDA脚本。 如果您对此实施有任何疑问或建议，请随时与我联系。 为了更好，欢迎加入我的行列。 ;） 注意：如果发现加载此自述文件的图片太慢，则可以在我的博客上阅读此。 目录 2.6 BATM 3.数据集 3.1 cnews10k 3.
自然语言处理之话题建模：Neural Topic Models：自动编码器与主题建模
最新发布
zhubeibei168的博客
09-28 1125
自动编码器（Autoencoder）是一种无监督学习的神经网络模型，主要用于数据的降维和特征学习。其核心思想是通过训练一个神经网络，使其能够从输入数据中学习到一种有效的编码方式，然后通过解码器将这种编码还原回原始数据的近似形式。自动编码器在自然语言处理、计算机视觉、音频处理等领域有着广泛的应用，尤其是在主题建模中，它能够帮助我们从文本数据中提取出潜在的主题结构。神经主题模型（Neural Topic Models, NTMs）是近年来在自然语言处理领域中，尤其是话题建模方面，兴起的一种新方法。
自然语言处理之话题建模：Neural Topic Models：深度学习在文本分类中的应用
zhubeibei168的博客
09-28 1682
深度学习模型在自然语言处理中发挥了重要作用，它们能够自动学习文本的复杂特征，用于分类、生成、翻译等任务。循环神经网络（RNN）：特别适合处理序列数据，如文本。长短期记忆网络（LSTM）：解决了RNN的长期依赖问题，能够记住更长时间的信息。门控循环单元（GRU）：LSTM的简化版本，减少了计算量。卷积神经网络（CNN）：虽然主要用于图像处理，但在文本分类中也表现出色。：基于自注意力机制，解决了RNN和CNN的序列依赖问题，加速了训练过程。话题模型是一种统计模型，用于发现文档集合或语料库中抽象的话题。
Continual Learning/Lifelong Learning/Incremental Learning
Si_ang_的博客
05-08 7912
朴素定义：持续学习就是随着时间的推移，不断地处理现实世界中连续的信息流（这些信息逐渐可用），在学习新知识的同时，还保留甚至整合优化旧知识的能力。精确理解：终身学习系统被定义为能够从连续的信息流中学习的自适应算法，随着时间的推移，这些信息被逐渐可用，并且需要学习的任务数量没有预定义（可以是无限的），重要的是，对新信息的调节应该在没有灾难性遗忘或干扰的情况下发生。通俗理解：一个模型学习随着时间推移不断增加的序列任务。
自然语言处理之话题建模：Neural Topic Models：神经主题模型原理与实践
zhubeibei168的博客
09-28 1163
通过上述示例，我们可以看到如何使用Python中的Gensim和PyTorch库来评估和训练话题模型。神经主题模型虽然在某些方面优于传统模型，但也需要更多的计算资源和时间来训练。评估模型时，应综合考虑内在和外在指标，以确保模型的实用性和有效性。神经主题模型(Neural Topic Models, NTMs)是自然语言处理领域中一种新兴的话题建模方法，它结合了深度学习技术与传统主题模型的优点，如Latent Dirichlet Allocation (LDA)，以更高效、更准确的方式从文本数据中提取主题。
【论文阅读-未完待续】A Novel Neural Topic Model and Its Supervised Extension
qq_45721997的博客
03-05 478
来源百度就可以 一篇之前看过的文章，但是有些记不住，打算做成博客记录完善一下。 首先直接上模型图。 1.输入层(g, d): n-gram g = w1，···，wn，文档ID d∈D，其中D是文档集 2.n-gram嵌入层(le∈R 1×300): 这一层的目标是用分布式嵌入表示来表示每个n-gram。 使用在大型谷歌News数据集(大约1000亿个单词)上训练过的可用工具word2vec1，每个单词或短语由一个300维的嵌入向量表示。 那么对于任意n-gram g，如果g在词汇表中，我们直接使用它的嵌入
#Paper Reading# Topic Modeling using Topics from Many Domains, Lifelong Learning and Big Data
John159151的专栏
09-11 1034
论文题目：Topic Modeling using Topics from Many Domains, Lifelong Learning and Big Data 论文地址：http://www.jmlr.org/proceedings/papers/v32/chenf14.pdf论文大体内容： 本文提出Lifelong Learning的概念，通过对每个dataset自动地学习、整理出kno
基于循环神经网络的主题模型
Ada
04-17 1万+
摘  要:      原有的主题模型是基于词袋模型的假设，很大程度上忽略单词的前后顺序或其主题连贯性。本文提出一个基于神经网络的话题生成模型，假定每个词的生成取决于句子中的历史单词，通过使用基于递归神经网络(RNN)的框架考虑句子中单词序列性，将句子的分布式表示作为神经网络模型的基本输入，通过将topic model与神经网络结合，利用周围单词的上下文关系来建模。实验结果表明，本文提出的LDA-L
NeurIPS 2021 神经主题模型的对比学习 Contrastive Learning for Neural Topic Model
m0_58581487的博客
09-14 423
这篇文章的目标是借助了对比学习框架去优化NTM学习到的主题分布和词分布，并将这个框架以多重输入（正样本和负样本都要通过推断网络得到隐向量）的形式融合到NTM的训练过程中，并没有额外地引入其他模块，同时，构建正样本和负样本的方式基于人类对相似文章的认知，关键词出现的次数越多越相似，先抽选出原文的关键词，负样本中关键词占比较少，正样本中不关键的词占比较少。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值