m0_55152177的博客

原创 选择性结构化状态空间模型综述

为了能够使得模型在推理时具有内容选择性，在S4中影响输入的B矩阵、影响状态的C矩阵的大小从原来的(D,N)（D指的是输入向量的维度，比如一个颜色的变量一般有RGB三个维度，N指SSM的隐藏层维度hidden dimension，一般设的比较小，远小于L）变成了(B,L,N)（这三个参数分别对应batch size、sequence length、hidden state size），故而是根据输入数据计算的。此外，他们将输入数据的一维划分为多个排序，采用不同的Mamba层排列，并将序列分解为更小的序列。