mathju的博客

【代码】Torch2ONNX的一个实例。

由于RNN特有的memory会影响后期其他的RNN的特点，梯度时大时小，learning rate没法个性化的调整，导致RNN在train的过程中，Loss会震荡起伏。为了解决RNN的这个问题，在训练的时候，可以设置临界值，当梯度大于某个临界值，直接截断，用这个临界值作为梯度的大小，防止大幅震荡。为了改善循环神经网络的长程依赖问题，一种非常好的解决方案是加入门控机制来控制信息的累积速度，包括有选择地加入新的信息，并有选择地遗忘之前累积的信息。因为梯度爆炸的时候，我们的程序会收到NaN错误。

AttentionAttention机制的引入注意力是人类不可或缺的复杂认知功能，指人可以在关注一些信息的同时忽略另一些信息的能力。注意力可以作用在外部的刺激(听觉，味觉)，也可以作用在内部的意识(思考，回忆)。在计算能力有限的情况下，注意力机制（Attention Mechanism）作为一种资源分配方案，将有限的计算资源用来处理更重要的信息，是解决信息超载问题的主要手段．Attention分类按照认知神经学中的注意力，可以总体上分为两类：自上而下的有意识的注意力，称为聚焦式注意力（Focu