深度学习之长短期记忆网络(LSTM)的网络结构

从Cell State开始

在下面的过程中,我们总是用语言模型作为例子来说明,心中始终有个具体例子对照,可以大大减轻理解上的困难。

来看这句话:“我是中国人,我会说中文”,我们的任务是根据这句话前面的内容,预测最后的两个字“中文”。要做到这一点,模型必须能够记住前面的信息,尤其是“中国人”。在LSTM中,记住前面的信息是通过Cell State来实现的。
所以,在理解LSTM的结构时,应始终以 Cell State为中心,这样就抓住了理解其结构的关键。

先来看一张LSTM的完整结构图,然后我们再来一步步从Cell State开始分析里面的内容。

完整图如下:

# Cell State的传递主线 Cell State好比一个记忆器,当你不断往cell里面输入数据时,它会不断变化,来记住之前输入的信息,这种记忆并不是机械式的,而是有选择地记忆的。下面我们就来看看它是如何选择性记忆的。

Cell State 的传递过程如下所示:

我们看到,当xt输入到Cell中后,Cell State 从Ct-1变到了Ct。

C是一个向量,

评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值