58、深度学习中的RNN、LSTM与多实例学习

深度学习中的RNN、LSTM与多实例学习

1. 门控循环单元（GRUs）

GRUs是受LSTM启发而提出的一种架构。与LSTM相比，GRUs更简单，因为它少用了一个门，并且无需区分隐藏状态和记忆单元。最常见的变体由以下公式描述：
[
\begin{align }
u_t &= \sigma(W_{uh}h_{t - 1} + W_{ux}x_t + b_u)\
r_t &= \sigma(W_{rh}h_{t - 1} + W_{rx}x_t + b_r)\
\tilde{h} t &= \tanh(W {hh}(r_t \odot h_{t - 1}) + W_{hx}x_t + b_h)\
h_t &= u_t \odot h_{t - 1} + (1 - u_t) \odot \tilde{h}_t
\end{align }
]
其中，$r_t$和$u_t$分别被称为重置门和更新门。GRUs使用与LSTM非常相似的机制来缓解梯度消失问题。从公式$h_t = u_t \odot h_{t - 1} + (1 - u_t) \odot \tilde{h} t$可以看出，如果$u {t,i}$接近1，那么相应的偏导数$\frac{\partial h_{t,i}}{\partial h_{t - 1,i}}$也接近1。

2. RNN在医学图像计算与计算机辅助干预会议（MICCAI）上的应用示例

2.1 机器人辅助手术中从运动识别手术活动

在机器人辅助手术的桌面训练场景