Recurrent networks (Elman, 1990) are designed to model sequences, while recursive networks (Goller & Küchler, 1996) are generalizations of recurrent networks that can handle trees. ---Yoav Goldber...

本文章的例子来自于WILDMLvanillaRNN是相比于LSTMs和GRUs简单的循环神经网络，可以说是最简单的RNN。RNN结构RNN的一个特点是所有的隐层共享参数(U,V,W)，整个网络只用这一套参数。RNN前向传导st=tanh(Uxt+Wst−1) ot=softmax(Vst)st为t时刻隐层的状态值，为向量。 ot为t时刻输出的值（这里是输入一个xt就有一个输出ot，这个是不必要的，...

Understanding LSTM Networkshttp://colah.github.io/posts/2015-08-Understanding-LSTMs/ An overview of gradient descent optimization algorithmshttp://sebastianruder.com/optimizing-gradient-descent/The Un...

原文：A ten-minute introduction to sequence-to-sequence learning in Keras 作者：Francois Chollet 译者：雁惊寒摘要：序列到序列学习（seq2seq）是一种把序列从一个域（例如英语中的句子）转换为另一个域中的序列（例如把相同的句子翻译成法语）的模型训练方法。目前有多种方法可以用来处理这个任务，可以使用RNN，也可以使...

LSTM(units,input_shape(3,1)),这里的units指的是cell的个数么？如果是，按照LSTM原理这些cell之间应该是无连接的，那units的多少其意义是什么呢，是不是相当于MLP里面对应隐层的神经元个数，只是为了扩展系统的输出能力？作者：lonlon ago链接：https://www.zhihu.com/question/64470274/answer/2563...

def sample(preds, temperature=1.0): ''' Generate some randomness with the given preds which is a list of numbers, if the temperature is very small, it will always pick the index wi...

转处：https://blog.youkuaiyun.com/liuchonge/article/details/79021938上篇文章我们使用tf.contrib.legacy_seq2seq下的API构建了一个简单的chatbot对话系统，但是我们已经说过，这部分代码是1.0版本之前所提供的API，将来会被弃用，而且API接口并不灵活，在实际使用过程中还会存在版本不同导致的各种个样的错误。所以我们有必要...

https://github.com/NELSONZHAO/zhihu/blob/master/basic_seq2seq/Seq2seq_char.ipynbSeq2Seq本篇代码将实现一个基础版的Seq2Seq，输入一个单词（字母序列），模型将返回一个对字母排序后的“单词”。基础Seq2Seq主要包含三部分：Encoder隐层状态向量（连接Encoder和Decoder）Decoder查看Te...