【李宏毅机器学习笔记】 23、循环神经网络（Recurrent Neural Network，RNN）

【李宏毅机器学习笔记】1、回归问题（Regression）

【李宏毅机器学习笔记】2、error产生自哪里？

【李宏毅机器学习笔记】3、gradient descent

【李宏毅机器学习笔记】4、Classification

【李宏毅机器学习笔记】5、Logistic Regression

【李宏毅机器学习笔记】6、简短介绍Deep Learning

【李宏毅机器学习笔记】7、反向传播（Backpropagation）

【李宏毅机器学习笔记】8、Tips for Training DNN

【李宏毅机器学习笔记】9、Convolutional Neural Network（CNN）

【李宏毅机器学习笔记】10、Why deep？（待填坑）

【李宏毅机器学习笔记】11、 Semi-supervised

【李宏毅机器学习笔记】 12、Unsupervised Learning - Linear Methods

【李宏毅机器学习笔记】 13、Unsupervised Learning - Word Embedding（待填坑）

【李宏毅机器学习笔记】 14、Unsupervised Learning - Neighbor Embedding（待填坑）

【李宏毅机器学习笔记】 15、Unsupervised Learning - Auto-encoder（待填坑）

【李宏毅机器学习笔记】 16、Unsupervised Learning - Deep Generative Model（待填坑）

【李宏毅机器学习笔记】 17、迁移学习（Transfer Learning）

【李宏毅机器学习笔记】 18、支持向量机（Support Vector Machine，SVM）

【李宏毅机器学习笔记】 19、Structured Learning - Introduction（待填坑）

【李宏毅机器学习笔记】 20、Structured Learning - Linear Model（待填坑）

【李宏毅机器学习笔记】 21、Structured Learning - Structured SVM（待填坑）

【李宏毅机器学习笔记】 22、Structured Learning - Sequence Labeling（待填坑）

【李宏毅机器学习笔记】 23、循环神经网络（Recurrent Neural Network，RNN）

【李宏毅机器学习笔记】 24、集成学习（Ensemble）

------------------------------------------------------------------------------------------------------

【李宏毅深度强化学习】视频地址：https://www.bilibili.com/video/av10590361?p=36

课件地址：http://speech.ee.ntu.edu.tw/~tlkagk/courses_ML16.html

-------------------------------------------------------------------------------------------------------

Example Application

先以一个智能机器人的例子开始。

理解一段文字的一种方法是标记那些对句子有意义的单词或记号。在自然语言处理领域，这个问题被称为槽填充（Slot Filling）。

所以此时机器人要找出input句子的有用的信息（destination，time of arrival），然后输出要回答的答案。

 这件事情可以先尝试用一个普通的network做一下，看看会遇到什么问题。

把词语转成vector作为input，其它步骤和普通的network一样。

但，怎么把词语转成vector呢？如下。

1-of-N encoding

这个方法很简单，将物品在对应的列上置1 。 

缺点：如果出现lexicon没有记录的物品，没办法在所属的列上置1 。

所以，可以用以下方法改进。

Beyond 1-of-N encoding

• Dimension for “Other” ： 把没记录过的物品归到 other 类里。
• Word hashing ： 用词汇的字母的n-gram来表示这个vector 。

刚才讲了几种把word转成vector的方法，现在能进行输入以后，就能获得输出。

这个输出是一个分布，这个分布是输入的词汇（比如Taipei）属于哪个slot（destination，time of arrival）的几率。 

这样做看起来好像很合理，但其实是有问题的，如下。

如果network的input是一样的，那output应该也是一样的，但现在面临个问题：

 现在有两个句子：

• 11月2号到达台北（台北是目的地）
• 11月2号离开台北（台北是出发地）

对于刚才的network来说，input只有台北，它要么就一直认定台北是目的地，要么就一直认定台北市出发地。

所以，我们就希望这个network是有记忆力的，能记住联系台北之前的词汇，来判断台北市目的地还是出发地。

这种有记忆力的network就是循环神经网络（Recurrent Neural Network，RNN）。

Recurrent Neural Network (RNN)