everything_study的博客

对于一个30 * 30的图像，输入给神经网络的有900个神经元，加入下一层有1000个神经元构成全连接层，那么就会有900000个参数，太大了，并且当图片产生了移动，变暗，这些参数又会全部变化，没有局部性，因此诞生了卷积。然后得到这个系数之后让其与v系数相乘，在相加得到A1矩阵看，这样A1中就包含，第一个词视角下 ，按照和它相似度大小（a1i），按权重（v矩阵）把每个词的词向量加到了一块，这就把全部上下文的信息都包含在第一个词当中了。有的时候只计算一次，灵活性太低，所以我们可以通过计算得到多组q，k，v。

我们通过Transformer模型的学习可以知道，在最开始处理这个序列数据的时候是通过RNN和CNN来进行处理的，但是RNN由于自己不能够进行并行计算，同时会产生遗忘，所以引入了注意力机制，Transformer的创新就是引入了多头自注意力机制。而本文所要研究的Mamba模型和Transformer模型一样同样是处理序列数据的。可以利用这个模型处理一串有顺序信息的数据Mamba基于SSM或S4发展为S6这些概念不需要知道特别清楚，只需要知道。

感知机接收多个输入信号，输出一个信号。每个输入信号都有要给权重，权重越大，信号的重要性就越高具体的实例可以参考这个与非门输入0，0输出0，输入0，1输出0，输入1，0输出0，输入1，1输出1这个感知机就实现了类似于与非门的功能，将多个信号联系上权重，进行输出具体公式如下：利用Numpy来实现感知机b = -0.7if tmp>0:return 1else:return 0AND(1,1),AND(0,1),AND(1,0))