目录
一、基本概念和原理
Memory Networks(记忆网络)是由Facebook AI Research的Jason Weston等人提出的一个神经网络框架。该框架通过引入长期记忆组件(long-term memory component),旨在解决神经网络在长程记忆方面的困难。
二、基本框架
Memory Networks可以理解为一种构造模型的框架,该类模型主要由以下五部分组成:
-
记忆m:模型记忆的表示,由一个记忆槽列表组成,可被G、O组件读写。
-
组件I(input feature map):将模型输入转化为模型内部特征空间中的特征表示。
-
组件G(generalization):在模型获取新输入时更新记忆m,可以理解为记忆存储。
-
组件O(output feature map):根据模型输入和记忆m输出对应于模型内部特征空间中特征表示,可以理解为读取记忆。
-
组件R(response):将O组件输出的内部特征空间的表示转化为特定格式,比如文本,可以理解为把读取到的抽象记忆转化为具象的表示。
在Memory Networks框架下,可以将原来依赖于中间监督信息的非端到端Memory Networks改进为端到端的Memory Networks。
三、应用领域
Memory Networks提出的最大卖点就是具备长期记忆能力。虽然当时RNN在文本处理领域十分有效,但是其对信息的长期记忆能力并不理想。而Memory Networks的长期记忆思路非常简单直接,它采用额外的记忆模块来保存之前的信息,而不是通过cell之间的hidden state传递。