DengSkyColor的博客

原创 音频频谱预训练模型介绍AST、SSAST、SSAMBA

Transformer是一种非常主流的基于自注意力机制的神经网络架构.摒弃卷积：ViT 是第一个完全摒弃卷积操作，纯粹基于 Transformer 架构在图像识别任务上达到顶尖水平的主流模型。全局感受野：与 CNN 的局部感受野不同，从第一层开始，ViT 的注意力机制就具备全局感受野。每个 patch 都能直接与任何其他 patch 进行交互，这使得它能非常高效地捕捉图像中长距离的依赖关系。可解释性：通过可视化注意力图，我们可以发现模型在做出决策时关注了图像的哪些部分。