【深度学习】记忆网络

目录

一、基本概念和原理        

二、基本框架

三、应用领域

四、挑战和限制

五、技术趋势

六、未来方向


一、基本概念和原理        

        Memory Networks(记忆网络)是由Facebook AI Research的Jason Weston等人提出的一个神经网络框架。该框架通过引入长期记忆组件(long-term memory component),旨在解决神经网络在长程记忆方面的困难。

二、基本框架

        Memory Networks可以理解为一种构造模型的框架,该类模型主要由以下五部分组成:

  • 记忆m:模型记忆的表示,由一个记忆槽列表组成,可被G、O组件读写。

  • 组件I(input feature map):将模型输入转化为模型内部特征空间中的特征表示。

  • 组件G(generalization):在模型获取新输入时更新记忆m,可以理解为记忆存储。

  • 组件O(output feature map):根据模型输入和记忆m输出对应于模型内部特征空间中特征表示,可以理解为读取记忆。

  • 组件R(response):将O组件输出的内部特征空间的表示转化为特定格式,比如文本,可以理解为把读取到的抽象记忆转化为具象的表示。

        在Memory Networks框架下,可以将原来依赖于中间监督信息的非端到端Memory Networks改进为端到端的Memory Networks。

三、应用领域

        Memory Networks提出的最大卖点就是具备长期记忆能力。虽然当时RNN在文本处理领域十分有效,但是其对信息的长期记忆能力并不理想。而Memory Networks的长期记忆思路非常简单直接,它采用额外的记忆模块来保存之前的信息,而不是通过cell之间的hidden state传递。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

大雨淅淅

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值