lrt366的博客

注意力 (attention) 模型在神经网络中被广泛应用，不过注意力机制一般是决定性的而非随机变量。来自哈佛大学的研究人员提出了将注意力建模成隐变量，应用变分自编码器（Variational Auto-Encoder，VAE）和梯度策略来训练模型，在不使用 kl annealing 等训练技巧的情况下进行训练，目前在 IWSLT German-English 上取得了非常不错的成果。论文...

代码对应部分：

论文笔记：https://cloud.tencent.com/developer/news/43321Semi-supervised Learning with Deep Generative Models-------2014 NIPS参考的复现代码：https://github.com/wead-hsu/semi-vae1.对于有标签数据先求重构损失，再加分类损失，要...

转自：http://rsarxiv.github.io/2017/03/02/PaperWeekly%E7%AC%AC%E4%BA%8C%E5%8D%81%E4%B8%83%E6%9C%9F/转自：http://www.zhiding.cn/techwalker/documents/J9UpWRDfVYHE5TpRGiv0xtyE8PkOpXEHWb_a1TS4qjg提及 Generati...

转自：https://www.sohu.com/a/216987798_297288最近（其实是去年）和大家分享过 Variational Autoencoder (VAE) 在对话生成（文本生成）上的一些应用（点击查看）。由于生成模型的新颖性和效果都能让人眼前一亮，所以越来越多的学者都对其进行了探索与尝试。然而当 VAE 和强如RNN/PixelCNN 这样的autoregressive m...

选自《深度生成模型》一书vae的损失函数是最大化11.20式子

转自：https://spaces.ac.cn/archives/5253过去虽然没有细看，但印象里一直觉得变分自编码器（Variational Auto-Encoder，VAE）是个好东西。于是趁着最近看概率图模型的三分钟热度，我决定也争取把VAE搞懂。于是乎照样翻了网上很多资料，无一例外发现都很含糊，主要的感觉是公式写了一大通，还是迷迷糊糊的，最后好不容易觉得看懂了，再去看看实现的代码，又...

转自：https://zhuanlan.zhihu.com/p/25518643上一期探讨了变分自编码器模型（VAEs），本期继续生成模型的专题，我们来看一下条件概率版本的变分自编码器（CVAEs）。（对应的，另一类生成模型GANs也有条件概率版本，称为CGANs。）VAE回顾VAE的目标是最大化对数似然函数其中，由于KL散度非负，对数似然函数的变分下界即为...