一起来书写我们的青春

前言博主最近研究了下Ma Jing博士的谣言检测。现将她的一些文章进行一些总结。内容第一篇《Detect Rumors Using Time Series of Social Context Information on Microblogging Websites》由于谣言检测模型只是对用户信息，模式传播和文本内容进行建模，忽略了时间的变化这一信息。作者提出了一种DSTS模型。第二篇《...

前言本文衔接TrainingHelper，也可以衔接BasicDecoder。先说明一下，GreedyEmbeddingHelper主要作用是接收开始符，然后生成指定长度大小的句子。正文GreedyEmbeddingHelper代码传送门class GreedyEmbeddingHelper(Helper): """A helper for use during inference....

前言本文衔接tf.contrib.seq2seq.dynamic_decode源码分析以及tf.contrib.seq2seq.BasicDecoder源码解析。除了TrainingHelper后面还会介绍到GreedyEmbeddingHelper

前言其实，关于注意力机制的文章真的有很多，而且写得相当精彩（毕竟过去这么多年了），那这篇侧重于简单的一个介绍，使大家对注意力机制有个初步了解。正文首先这件事还要从序列到序列模型（Seq2seq Model）开始说起，最早的序列到序列模型是一个CNN+LSTM。简单来说就是把CNN把编码端映射成一个固定向量，然后用LSTM一步步解码。接着一个自然的想法是使用LSTM，因为LSTM的处理序列...

前言曝光误差（exposure bias）简单来讲是因为文本生成在训练和推断时的不一致造成的。不一致体现在推断和训练时使用的输入不同，在训练时输入是真实样本，但是在推断时用的却是上一个词的输出。解决方案1.使用scheduled-sampling，简单的做法就是在训练阶段使用的输入以p的概率选择真实样本，以1-p的概率选择上一个词的输出。而这个概率p是随着训练次数的增加衰减，可以使用指数函数...

前言tf.contrib.seq2seq.dynamic_decode源码分析本文衔接上文。首先tf.contrib.seq2seq.dynamic_decode主要作用是接收一个Decoder类，然后依据Encoder进行解码，实现序列的生成（映射）。其中，这个函数主要的一个思想是一步一步地调用Decoder的step函数（该函数接收当前的输入和隐层状态会生成下一个词），实现最后的一句话的...

前段时间因为自己的任务，看了好久的seq2seq的源码，了解了它的内部机制。现分享一波源码解析给大家以共勉。首先tf.contrib.seq2seq.dynamic_decode主要作用是接收一个Decoder类，然后依据Encoder进行解码，实现序列的生成（映射）。其中，这个函数主要的一个思想是一步一步地调用Decoder的step函数（该函数接收当前的输入和隐层状态会生成下一个词），实现最后的一句话的生成。该函数类似tf.nn.dynamic_rnn。

SeqGAN是2017年[《SeqGAN: Sequence Generative Adversarial Nets with Policy Gradient》](https://arxiv.org/pdf/1609.05473.pdf)这篇论文提出的模型，使用了强化学习的策略梯度解决了之前GAN只能应用在生成器输出为连续值的问题（文本中词与词之间的表示是离散的）。属于比较开创的工作，之后的许多工作都是在这篇文章的基础进行的。今天主要是想研究SeqGAN这么久以来的一个踩坑记录的总结，主要是要讨论关于蒙特

前言首先本文主要是对《 Neural Text Generation: Past, Present and Beyond 》这篇论文的总结，该论文是上海交通大学团队写的，查阅过数次，觉得写得很棒，在此总结一下，以此共勉。要点这篇的文章关注点在于神经网络的文本生成。极大似然估计首先，最开始的是用神经网络语言模型(NNLM)。以及的后来的RNNLM（基于RNN循环神经网络）。P(xt∣st...

Github：Github下载地址RNN在自然语言处理的文本处理上取得了很大的成功。双向LSTM可以捕获上下文的内容，从而使得分类效果更佳。在本文的这次分类中，本文使用了IMDB电影评价的数据集，最终的模型可以将正面情感和负面情感通过双向LSTM给分类出来。

前言此文参考原文Github代码本文Github代码GAN是2014年提出的一个框架。简单来说，这个框架有一个生成器和一个判别器，生成器生成数据（假币），判别器判别数据真假（判别假币），基于这种max-min极大极小值博弈算法，最终生成器生成的数据（假币）会使判别器分辨不出，也就是说D(p_data)和D(p_gen_data)均在0.5左右。基于这一框架生成器得到了出色的生成效果引起了许多...

前言RNN存在着梯度消失的问题，Hochreiter & Schmidhuber (1997)在1997年提出了LSTM（Long Short-Term Memory）长短期记忆单元来解决这个问题，现在自然语言处理的大部分任务都用到了LSTM，例如机器翻译，文本生成，，同理还有GRU。数据集数据集跟上一篇博客RNN文本生成使用的一样，都是古诗的语料库，这里不再赘述。...

前言由于RNN具有记忆功能，之前文章有介绍RNN来实现二进制相加，并取得了比较好的效果。那这次本文使用RNN来进行古诗生成。数据集数据集就是我们的古诗了，每行都是一首古诗，并且以格式”题目：古诗”。 首先需要创建一个词典，词典可以是每个字的词频高的前6000字作为词典，然后用one-hot来表示词向量。def getVocab(filename='poetry.txt'):...

前言循环神经网络是一种时间序列预测模型，多应用在自然语言处理上。 原理网上是有很多的，不展开解释，本文基于一个二进制加法，进行python实现。 其实python代码并非本人实现 具体参考两篇博客，第一篇是英语原文，第二篇是译文。 https://iamtrask.github.io/2015/11/15/anyone-can-code-lstm/ http://blog.csdn....

  个人觉得BP反向传播是深度学习的一个基础，所以很有必要把反向传播算法好好学一下   得益于一步一步弄懂反向传播的例子这篇文章，给出一个例子来说明反向传播   不过是英文的，如果你感觉不好阅读的话，优秀的国人已经把它翻译出来了。   一步一步弄懂反向传播的例子（中文翻译）   然后我使用了那个博客的图片。这次的目的主要是对那个博客的一个补充。但是首先我觉得先用面向过程的思想来实现一遍...