本文深入探讨了Multi-Dimensional Recurrent Neural Networks（MD-RNN）的前向传播和反向传播过程。通过图示和伪代码，解释了MD-RNN如何在每个隐层单元上连接所有输入数据点，并且根据输入特征的非零值回溯之前的隐层激活值。此外，文章还讨论了MD-RNN在图像处理中可能的多方向递归影响，超越传统二维递归连接的可能性。
论文：“Multi-Dimensional Recurrent Neural Networks”
论文地址：https://arxiv.org/pdf/0705.2011.pdf
这篇博客是在本人阅读论文后的一些自己的理解记录，如有错误请大家多多指教。
首先给出的是前向传播和反向传播的图示：
在进行前向传播时，当前隐层接收到当前输入样本和在每个维度上之前一步的激活值（之前一步的隐层激活值）。
接下来直接给出前向传播和反向传播的伪代码：
我个人对于前向传播的理解如下：
①对于每个隐层单元都连接着所有的输入数据点（论文中有说H代表着隐层中单元个数的总和，由于输入样本数据点在进入隐层的通道上有乘
最低0.47元/天 解锁文章
扫一扫
3378
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
