文章探讨了A clockwork RNN（CW-RNN），一种改进的RNN模型，其特征在于隐层单元的周期性计算，减少了参数数量。CW-RNN在序列生成和语音识别（spoken word classification）任务上表现出色，模型结构包含按速度分类的模块，仅在特定时间步长更新。实验结果显示，相比于传统RNN，CW-RNN在效率和准确性上有显著优势。
A clockwork RNN（CW-RNN）
本文主要提出了一个新型的RNN模型，跟原始RNN不一样的地方就在于，因此隐层单元的不同，同时计算是有方向周期的，降低了参数量。
为什么有关ｒｎｎ的文章大多是跟ＮＬＰ有关的～
苦苦寻找与图像处理有关的ａｔｔｅｎｔｉｏｎ ｍｏｄｅｌ中
模型可视化结构：
隐层被分成了g个模块，每个模块的大小是k，每个模块内部是全连接的。模块j到i的recurrent仅当Ti小于Tj时才会存在。根据增长的阶段对模块进行分类，模块之间的传递在隐层之间是从右向左的，从慢的模块到快的模块。
CW-RNN跟ＲＮＮ的主要不同之处在于在每个时间点ｔ，只有模块ｉ满足ｔ%Ti=0,才会执行，产生输出。Ｔｉ的是任意的，这篇论文取得是Ｔi=２^（ｉ－１）．
序列生成的实验
论文里说，这个模型比普通的模型要快很多，正确率也好很多，我们看一下结果对比图（：) 超喜欢这个图，有木有，简洁明了，涵盖均值方差范围）
最低0.47元/天 解锁文章
扫一扫
1352
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
