CMT的架构和么一层的网络 CMt cnn mlp transfomer

最新推荐文章于 2024-03-26 20:36:11 发布

交通上的硅基思维

最新推荐文章于 2024-03-26 20:36:11 发布

阅读量337

点赞数

CC 4.0 BY-SA版权

分类专栏：算法 python 文章标签：大数据

本文链接：https://blog.youkuaiyun.com/matlab_python22/article/details/125848289

算法同时被 2 个专栏收录

82 篇文章 ¥9.90 ¥99.00

订阅专栏

超级会员免费看

python

6 篇文章

订阅专栏

本文详细介绍了CMT（Convolutional Mesh Transformer）网络的架构，包括四层不同的patch嵌入模块，每个模块内包含多个Block，每个Block由注意力机制和多层感知器（MLP）组成。网络通过逐层下采样增加特征表达能力，同时利用自注意力机制增强信息捕获。CMT适用于大数据场景，尤其在图像处理任务中展现出强大的性能。

CMT(
(stem_conv1): Conv2d(3, 16, kernel_size=(3, 3), stride=(2, 2), padding=(1, 1))
(stem_relu1): GELU()
(stem_norm1): BatchNorm2d(16, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
(stem_conv2): Conv2d(16, 16, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
(stem_relu2): GELU()
(stem_norm2): BatchNorm2d(16, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
(stem_conv3): Conv2d(16, 16, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
(stem_relu3): GELU()
(stem_norm3): BatchNorm2d(16, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
(patch_embed_a): PatchEmbed(
(proj): Conv2d(16, 46, kernel_size=(2, 2), stride=(