机器学习与深度学习系列连载： 第二部分 深度学习（二十二) 机器记忆 Machine Memory

机器记忆 Machine Memory

我们已经讨论过Attention机制，基于注意力机制，我们继续讨论 Memory Network。

1. 外部存储

我们进行DNN或者RNN之前，数据可以用Readiing controller 从外部读取进来。

Ref: http://speech.ee.ntu.edu.tw/~tlkagk/courses/MLDS_2015_2/Lecture/Attain (v3).ecm.mp4/index.html

2. 问答系统

问答系统对于文章内容的搜寻其实就是机器存储内容的搜寻。

这种搜寻是完全基于Attention机制的。

Sainbayar Sukhbaatar, Arthur Szlam, Jason Weston, Rob Fergus, “End-To-End Memory
Networks”, NIPS, 2015

除了输入attention机制外，我们尝试增加输入正常机制+hopping（反复复习，重新传入q），最后得出结果。

3. 视频问答 Visual Question Answering

在视频问答系统中，我们从每一块图片区域中选择内容。工具还是Attention

论文Huijuan Xu, Kate Saenko. Ask, Attend and Answer: Exploring Question-Guided Spatial Attention for Visual Question Answering. arXiv Pre-Print, 2015 中阐释了视频问答系统

3. 可以读写的Memory

谷歌提出的Neural Turing Machine 挑战了经典的冯诺依曼架构，但是基础还是Attention

（1）首先我们采用attention机制从记忆中产生r0

（2）然后将r0 和x1 输入RNN 产生 k,e,a
k与m进行运算（相似度运算），产生新的attention r， e决定是否需要删除（e在0到1之间），a决定是否需要新增。

（3）运算过程

（4）简单的整体示意图

本专栏图片、公式很多来自台湾大学李弘毅老师、斯坦福大学cs229，斯坦福大学cs231n 、斯坦福大学cs224n课程。在这里，感谢这些经典课程，向他们致敬！