Gated Recurrent Units (GRU)

本文深入探讨了门控循环单元(GRU)的工作原理,包括更新门和重置门的作用,以及它们如何帮助模型有效地控制信息流动,减少梯度消失问题。通过数学公式详细解释了GRU中各个组件的功能及其计算过程。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

Illustration:
Illustration 1
Illustration 2

  • update gate
    ut=σ(Wuxxt+Wuhht1)

    Update gate u controls how much of past state should matter now. If u close to 1, then we can copy information in that unit through many time steps. Less vanishing gradient.
  • reset gate
    rt=σ(Wrxxt+Wrhht1)

    If reset is close to 0, ignore previous hidden stateAllows model to drop information that is irrelevant in the future.
  • new memory content
    h˜t=tanh(Wh˜xxt+rtWh˜hht1)
  • final memory at time step combines current and previous time steps:
    ht=utht1+(1ut)h˜t
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值