GRU网络简介

GRU网络

一:GRU简介

​ GRU玩咯是对LSTM网络的简化,GRU使记忆体ht融合了长期记忆和短期记忆,ht包含了过去信息ht-1和现在信息h`t,现在信息是过去信息ht-1过重置门与当前输入共同决定,两个门限的取值范围也是0到1之间。前向传播时,直接使用这个记忆体更新公式就可以算出每个时刻的ht值了。公式如下:

  • 更新门:zt = α(Wz[ht-1, xt])
  • 重置门:rt = α(Wr[ht-1, xt])
  • 记忆体:ht = (1-zt) * ht-1 + zt * h`t
  • 候选隐藏层:h`t = tanh(W[rt * ht-1, xt])

二:Tensorflow描述GRU层

tf.keras.layers.GRU(记忆体个数,return_sequences=是否返回输出)
# return_sequences = True  各时间步输出ht
# return_sequendes = False  仅最后时间步输出ht
# 一般最后一层用False,中间层用True
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值