个人理解关于GRU和LSTM之间的区别和联系

本文探讨了GRU(门控循环单元)与LSTM(长短期记忆网络)之间的区别和联系,主要集中在它们的隐藏状态更新机制上。GRU通过重置门r和更新门z控制信息传递,而LSTM则使用输入门、遗忘门和输出门。GRU的更新公式比LSTM更为简洁,其一参数控制方式与LSTM的双参数控制存在显著差异,这使得GRU在信息保留和遗忘上具有不同的灵活性。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

首先通过公式我认为GRU(“Learning Phrase Representations using RNN EncoderDecoder for Statistical Machine Translation”)里的h与LSTM里的C是非常类似的,与之相对应的是GRU里的和LSTM里的非常类似。区别在于控制隐藏状态更新的参数,GRU里的控制参数有两个,一个是重置门r,另一个是更新门z;而LSTM有输入门、遗忘门、输出门;在进行隐藏状态更新时,GRU更新公式如下:




评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值