【深度学习】记忆网络

目录

一、基本概念和原理        

二、基本框架

三、应用领域

四、挑战和限制

五、技术趋势

六、未来方向

---

一、基本概念和原理        

        Memory Networks（记忆网络）是由Facebook AI Research的Jason Weston等人提出的一个神经网络框架。该框架通过引入长期记忆组件（long-term memory component），旨在解决神经网络在长程记忆方面的困难。

二、基本框架

        Memory Networks可以理解为一种构造模型的框架，该类模型主要由以下五部分组成：

• 记忆m：模型记忆的表示，由一个记忆槽列表组成，可被G、O组件读写。

• 组件I（input feature map）：将模型输入转化为模型内部特征空间中的特征表示。

• 组件G（generalization）：在模型获取新输入时更新记忆m，可以理解为记忆存储。

• 组件O（output feature map）：根据模型输入和记忆m输出对应于模型内部特征空间中特征表示，可以理解为读取记忆。

• 组件R（response）：将O组件输出的内部特征空间的表示转化为特定格式，比如文本，可以理解为把读取到的抽象记忆转化为具象的表示。

        在Memory Networks框架下，可以将原来依赖于中间监督信息的非端到端Memory Networks改进为端到端的Memory Networks。

三、应用领域

        Memory Networks提出的最大卖点就是具备长期记忆能力。虽然当时RNN在文本处理领域十分有效，但是其对信息的长期记忆能力并不理想。而Memory Networks的长期记忆思路非常简单直接，它采用额外的记忆模块来保存之前的信息，而不是通过cell之间的hidden state传递。