lrt366的博客

注意力 (attention) 模型在神经网络中被广泛应用，不过注意力机制一般是决定性的而非随机变量。来自哈佛大学的研究人员提出了将注意力建模成隐变量，应用变分自编码器（Variational Auto-Encoder，VAE）和梯度策略来训练模型，在不使用 kl annealing 等训练技巧的情况下进行训练，目前在 IWSLT German-English 上取得了非常不错的成果。论文...

本文地址：http://blog.youkuaiyun.com/qq_31456593/article/details/77743840深度学习博客目录：http://blog.youkuaiyun.com/qq_31456593/article/details/69340697introduce这篇论文将变分贝叶斯和神经网络结合起来，用神经网络学习变分推导的参数，以得到后验推理p(z|x)的似然，并获得了一...

另一篇更好的理解：https://ldzhangyx.github.io/2018/09/26/deep-para-generation/Abstract意译生成是 NLP 中的一个重要问题, 特别是在问答、信息检索、信息抽取、会话系统等几个方面。本文讨论了自动生成释义的问题。我们提出的方法是基于深度生成模型 (VAE) 与序列-序列模型 (LSTM) 的组合生成释义, 给定一个输...

Abstract序列数据通常具有子序列之间具有复杂依赖关系的层次结构, 例如在对话中的话语之间找到的。为了在生成框架中对这些依赖关系进行建模, 我们提出了一种基于神经网络的生成体系结构, 该体系结构具有跨越可变时间步长数的随机潜在变量。将该模型应用于对话响应生成任务, 并与其他最近的神经网络架构进行了比较。我们通过人类评价研究来评价模型的性能。实验表明, 我们的模型改进了最近提出的模型, 潜在...

为了改进 KL 迅速降到 0，提出 convolutional 和 recurrent 结合的 VAEAbstract本文探讨了体系结构选择对学习文本生成的变分自动编码器 (vae) 的影响。与以前引入的文本 vae 模型相比, 编码器和解码器都是 rnn 的 vae 模型, 我们提出了一种新的混合体系结构, 将完全前馈卷积和去卷积组件与重复语言模型融合在一起。我们的体系结构具有几个...

转自：https://blog.youkuaiyun.com/ustbfym/article/details/78870990先上两个图解释下VAE在这两个的基础上，我们可以定义data likelihood:为什么要采用变分由于MCMC算法的复杂性，对于qϕ(z|x)qϕ(z|x)，如果对每个数据点都要大量采样，在大数据情况下是难以实现的，因此需要找一个近似的方法。变分推理的思想就是寻找一...

Abstract现代数据集的规模不断扩大, 加上获取标签信息的难度, 使得半监督学习成为现代数据分析中具有重要现实意义的问题之一。我们重新审视使用生成模型进行半监督学习的方法, 并开发新的模型, 以便有效地将小标签数据集推广到大型无标签数据集。迄今为止, 生成办法要么是不灵活的, 要么是效率低下的, 要么是不可扩展的。我们表明, 深入生成模型和近似贝叶斯推理利用最近的进展, 变分方法可以用来提...

这篇论文主要讲了在求隐变量的过程中就提取了特征信息，然后用来一些约束效果比较好。公式10的推导：（感觉不太懂为什么。。。。不太对但推出来了）Abstract本文提出了一种新的无分类器半监督 vae 的方法。具体而言, 我们提出了一种名为 sdvae 的新模型, 该模型将输入数据编码为分离表示和不可解释表示, 然后直接利用类别信息通过方程约束。为了进一步提高拟议的 vae 的特征...

Introduction我们的贡献如下: 首先, 我们建议使用一个扩大的 cnn 作为一个新的解码器的 vae。然后, 我们对具有不同容量的多个扩展体系结构进行了经验评估, 发现上下文容量的降低会导致对潜在表示的更强大依赖。通过选择具有适当上下文容量的解码器, 我们发现我们的 vae 在两个数据集中的性能优于 lstm 语言模型。我们还探讨了使用扩张的 cnn vae 进行半监督分类的方法, ...

Abstract神经变分推理的进步促进了具有连续潜在变量 (如变分自动器) 的强大定向图形模型的学习。希望这样的模型能学会在现实世界的数据中代表丰富的多模式潜在因素, 比如自然语言文本。然而, 目前的模型往往假设简单的原点的潜在变量--如单模高斯分布--无法有效地表示复杂的潜在因素。为了克服这一限制, 我们提出了简单但高度灵活的分段恒定分布。这种分布有能力表示指数级别的潜在目标分布的模式, 同...

1.AAAI-2017-Variational Autoencoder for Semi-Supervised Text Classification摘要：虽然半监督变分自动编码器 (SemiVAE) 在图像分类任务中工作, 但如果使用vanilla LSTM作为解码器, 则在文本分类任务中失败。从强化学习的角度出发, 验证了解码器区分不同分类标签的能力是必不可少的。因此, 提出了半......

转自：https://ldzhangyx.github.io/2018/09/26/deep-para-generation/这篇文章发表在2018年的AAAI上，继承了VAE在自然语言处理上的应用，将其应用于句子复述上，用于生成相似的句子；同时因为RNN可以作为语言模型使用，语句的语法正确性也有一定提升。论文地址：https://arxiv.org/pdf/1709.05074.pd...

代码：https://github.com/wiseodd/controlled-text-generation作者博客：http://www.cs.cmu.edu/~zhitingh/Toward Controlled Generation of Text这篇论文是Zhiting Hu发布在ICML2017上的paper。这篇paper主要干的事情就是其题目中所描述的，生成可以控制方向的...

文章链接：http://pdfs.semanticscholar.org/efbc/200feab74e5087c4005d8759e5dadb3a3077.pdf1) 文本生成过程：通过VAE网络重建输入文本。2）模型对生成信息的控制：2.1）在VAE网络的隐藏层中加入unstructure变量c，作为attribute的信息输入。2.2）模型中加入了discrimin...

来源：ACL2018链接：[1804.08069] Unsupervised Discrete Sentence Representation Learning for Interpretable Neural Dialog Generation 4源码：snakeztc/NeuralDialog-LAED 1转自：https://bigquant.com/community/t/to...

摘要：变异自动编码器 (VAEs) 作为文本生成端向体系结构最近备受关注。现有方法主要侧重于合成相对较短的句子(少于20个单词)。在本文中,我们提出了一个新的框架,分层结构变异自动编码器(hier-VAE),用于生成长而连贯的文本单元。为了提高模型的超前能力,将中间句表示引入生成网络,以指导字级预测。为了缓解与文本 VAE 相关的典型优化挑战,我们进一步在编码器和解码器网络之间采用了随机...