Xpy_021101的博客

7.对于长文本序列来说，效果可能不如其他模型。gnn模型不太适合处理长文本序列，这是因为gnn模型的设计初衷主要是为了捕捉局部特征以及节点之间的关系，而对于长序列来说，这种关系会变得十分复杂，同时可能会出现梯度消失或梯度**的问题。：cnn模型采用固定大小的卷积核，无法灵活地处理不同长度的输入，因此在处理不同长度的文本数据时需要进行填充或者截断操作，这可能会导致信息的丢失。：cnn模型对输入的噪声和变形具有一定的鲁棒性，因此在处理一些存在噪声或变形的文本数据时，cnn模型能够表现出比其他模型更好的鲁棒性。

此序列转录模型仅仅依赖于注意力机制，而不使用循环或者是卷积，将循环全部换成了multi-headed self- attentionRNN的特点、并行程度低。Attention在RNN上的应用。引入注意力机制，提高并行度。