qq_19069557的博客

Visual Autoregressive Modeling: Scalable Image Generation via Next-Scale Prediction 速读

本文通过改进Mamba网络结构，使用一些训练和测试策略，达到对Mamba模型的轻量化，并且保证其优异的效果。

通过对序列转换模型的调研，提出名为Transformer的网络结构。Transformer仅基于self-attention机制，无循环/卷积层，效果优，可并行，通用。该论文主要解决序列转换模型并行性差的问题。作者通过研读序列转换模型相关论文，观察到效果好的模型基本使用的都是RNN/CNN与encoder-decocer、attention mechanism结合的结构。其中，attetion mechanisim在序列建模中很重要，它可以不考虑序列中的距离建立不同位置的依赖关系。