Transformer的各个块(bottleneck,FFN..)

已于 2022-08-03 09:55:49 修改
阅读量2.9k 收藏 4
点赞数 6
分类专栏： AI 文章标签： transformer 深度学习 人工智能
于 2022-07-25 15:50:50 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/catrtees/article/details/125975494
版权

  • bottleneck
    将信息压缩再放大的神经网络结构,可以有效降低模型参数量
    在这里插入图片描述

  • 左边是对输入进行常规卷积，右边是对输入先进行PW(Pointwise_Convolution，可参考我的上一篇博客)，之后用小卷积核进行特征提取，最后同样用PW升维。两边的输出形状一致，但是右边具有更小的参数量

  • 残差网络加上bottleneck，可以训练更小的参数量、更深的模型
    在这里插入图片描述

  • 其中两个1X1fliter分别用于降低和升高特征维度，主要目的是为了减少参数的数量，从而减少计算量，且在降维之后可以更加有效、直观地进行数据的训练和特征提取，对比如下图所示。

在这里插入图片描述


…
…

  1. FFN —
    在这里插入图片描述
    为什么需要VKQ三个矩阵，直接用输入的特征进行self-attention不可以吗？如果非要用，为什么不是四个五个，而是三个呢？
  1. 三个矩阵将原始输入往不同的向量空间进行投影，如果直接用输入的feature做self-attention和加权的话，其实还是在feature空间做变换(因为整个过程都是矩阵乘法)，基本没有可学习的余地，引入三个矩阵后，增大了学习参数，使得学习出来的变换空间更加的通用。
  2. Q(query)代表自身的期望(表示了对哪种feature感兴趣)，
    K(key)代表自己是哪种feature，因为别人也要进行self-attention，
    V(value)是给自己打个分，用于后面的加权，其实这个可以不要，直接用输入的feature进行加权，

待续…

【YOLO11改进 - C3k2融合】参考BFA-YOLO用 RetBlock 替换了 C3k2 模块中的 Bottleneck 层，,提高模型处理局部细节的能力和整体性能
专注于图像领域，主要研究内容包括计算机视觉和深度学习，特别是在图像分类、目标检测和图像生成等方面有深入的研究和实践经验。
11-25 440
【YOLO11改进 - C3k2融合】参考BFA-YOLO用 RetBlock 替换了 C3k2 模块中的 Bottleneck 层，,提高模型处理局部细节的能力和整体性能
【BoTNet】Bottleneck Transformers for Visual Recognition 笔记
salari的博客
03-04 2584
Bottleneck Transformers for Visual Recognition 摘要 BoTNet是backbone，由自注意力机制组成 在Resnet最后三个bottleneck中用全局self-attention替代卷积 在COCO数据集上44.4%mask AP，49.7%Box AP，图像分类、实例分割、目标检测都有效 引言 提出的BoTNet为带有bottleneck结构的transformer块 在视觉领域使用self-attention有两个问题：1，图片太大 怎么输进去；2，
Transformer-02 MASK、FFN、残差连接+层归一化及Embedding
qq_30330061的博客
11-16 4836
Transformer-02 MASK、FFN、残差连接+层归一化及Embedding
Transformer中的FFN介绍
不要给自己设限，尝试更多可能（思所向 皆可往）
03-13 6498
作者：潘梓正，莫纳什大学博士生主页：zizhengpan.github.io（最近看到有些问题[1]说为什么Transformer中的FFN一直没有很大的改进。
有深度！Transformer | 万字长文：详细了解前馈神经网络（FFN），内含对大模型的理解
最新发布
yinizhilianlove的博客
04-03 376
FFN（Feed-Forward Network）扮演着至关重要的角色。本文将深入介绍FFN层的结构、数学原理、源码理解、在大模型中的应用等内容，旨在揭示其如何通过升维和降维操作增强模型的表达能力，以及其在Transformer中的独特作用。
一文彻底搞懂Transformer - FFNN（前馈神经网络）
2401_85377976的博客
08-21 2749
FFNN的主要作用是接收自注意力层的输出，并对其进行进一步的非线性变换，以捕获更复杂的特征和表示。连接（Connections）：神经元之间的连接，每条连接都有一个权重（Weight），这个权重决定了该连接在信号传递中的重要性。迭代训练：上述步骤（从前向传播到参数更新）会反复进行，直到模型在验证集上的性能达到满意的水平，或者达到预设的训练轮数（epochs）。输出层：负责输出模型的预测结果。增加非线性：神经网络中，如果只有线性变换，那么无论神经网络有多少层，输出都是输入的线性组合，与没有隐藏层效果相当。
Transformer的FFN层是什么
yxx122345的博客
02-24 698
FFN 层其实就是一个“对每个 token 独立处理的小型神经网络”，负责在注意力机制之后进一步提取和转换特征。它在 Transformer 架构中和自注意力层一起，形成了每一层的基本模块。
Bottleneck Transformer替换C3
08-21
此外，Bottleneck Transformer中的bottleneck block使用了三个非线性，而Transformer中的FFN块只使用了一个非线性。另外，Bottleneck Transformer中的MHSA层没有输出投影，而Transformer中的MHSA块包含输出投影。...
NeurIPS2021 HRFormer：HRNet又出续作啦！国科大&北大&MSRA提出高分辨率Transformer，开源！...
我爱计算机视觉
11-05 638
关注公众号，发现CV技术之美本文分享NeurIPS 2021论文『HRFormer: High-Resolution Transformer for Dense Prediction』，H...
BottleneckTransformers.zip
08-26
标题"BottleneckTransformers.zip"表明这是一个关于Transformer模型的优化或变体的项目，其中“Bottleneck”可能指的是在神经网络架构中常用的瓶颈层概念，通常用于减少计算复杂度和参数数量，同时保持或提高模型...
bottleneck-transformer-pytorch:Pytorch中瓶颈变压器的实现
03-06
瓶颈变压器-火炬 在Pytorch中，在性能-计算权衡方面优于EfficientNet和DeiT的卷积（SotA）视觉识别模型的卷积+注意实现 安装 $ pip install bottleneck-transformer-pytorch 用法 import torch from torch import nn from bottleneck_transformer_pytorch import BottleStack layer = BottleStack ( dim = 256 , # channels in fmap_size = 64 , # feature map size dim_out = 2048 , # channels out proj_factor = 4 , #
transformer中的ffn
wshlchl的博客
06-02 596
创建随机输入数据 (batch_size, seq_length, input_dim)
Transformer 论文通俗解读：FFN 的作用
AI与算法都要通俗易懂
07-11 1万+
在经过前面3节关于 Transformer 论文的解读之后，相信你对提出 Transformer 架构的这篇论文有了一定的了解了，你可以点击下面的链接复习一下前3节的内容。总的来说，这篇论文虽然重要且经典，但很多关于Transformer 架构的技术细节并没有介绍的很清楚，因此读起来有些晦涩。之前的几节文章在通读这篇论文时，采用的是的方式来进行的。这么做的目的也很简单：帮助你了解这篇论文中每一部分的写作意图是什么。至于论文中没有详细阐述的技术细节内容，本专栏后续会继续完善。
Transformer 论文通俗解读：FFN 中的非线性表达
AI与算法都要通俗易懂
07-22 1098
因此，在这类的线性变换层后面，要添加非线性的激活函数，使得整个变换不至于是线性变换，从而使得神经网络模型可以拟合成更加复杂多变的非线性系统。本文暂且不论 FFN 中添加 FC 的作用，你只需要了解在多个线性层中间一定要添加非线性层，来防止多个线性层叠加退化成一个线性层就可以了。关于 FFN 中添加 FC，也就是线性层的作用，在后面的文章中会进行详细介绍。虽然基础，但是我还是希望针对这部分内容做一个更加详细的说明，希望你可以对此有一个更深刻的认识，而不仅仅是 Transfomer 结构。
【阅读源码】Transformer的FFN机制源码解读（dropout）
...
03-26 5226
class PositionwiseFeedForward(nn.Module): "Implements FFN equation." def __init__(self, d_model, d_ff, dropout=0.1): super(PositionwiseFeedForward, self).__init__() self.w_1 = nn.Linear(d_model, d_ff)#剖析点1 self.w_2 = nn.Line
从零开始了解transformer的机制|第四章：FFN层的作用
热门推荐
weixin_73179708的博客
08-26 3万+
FFN层就是feed forward层。他本质上就是一个两层的MLP。这个MLP的数学本质是：其中两层感知机中，第一层会将输入的向量升维，第二层将向量重新降维。这样子就可以学习到更加抽象的特征。
为什么TransFormer中的FFN有两层，先升维再降维？
w18013886857的博客
10-28 8108
Self-Attention模型的作用是提取语义级别的信息（不存在长距离依赖），而FFNN是在各个时序上对特征进行非线性变换，提高网络表达能力。
Transformer的代码实现 day04（FFN）
丿罗小黑的博客
04-03 683
【代码】Transformer的代码实现 day04（FFN）
Transformer in Transformer和Bottleneck Transformer关系
03-07
Transformer in Transformer（TiT）和Bottleneck Transformer（BoT）都是基于Transformer模型的改进版本，它们在结构和设计上有所不同。 Transformer in Transformer（TiT）是一种层级结构的Transformer模型。它在传统的Transformer模型中引入了一个额外的Transformer层，用于处理输入序列中的每个位置。这个额外的Transformer层被称为内部Transformer层，它负责对每个位置的输入进行编码。然后，内部Transformer层的输出被传递给外部Transformer层，用于对整个输入序列进行编码。通过引入内部Transformer层，TiT可以更好地捕捉输入序列中的局部和全局信息，从而提高模型的表示能力。 Bottleneck Transformer（BoT）是一种通过减少计算和参数量来提高Transformer模型效率的方法。在传统的Transformer模型中，每个位置都需要进行自注意力计算，这会导致计算和存储开销较大。BoT通过引入瓶颈结构来解决这个问题。具体来说，BoT将输入序分成多个子序列，并在每个子序列上自注意力计算。然后，通过一个全局注意力机制将子序列的表示整合起来。这样一来，BoT可以在保持较低计算和参数量的同时，仍然能够有效地捕捉输入序列的信息。 综上所述，Transformer in Transformer（TiT）和Bottleneck Transformer（BoT）都是对传统Transformer模型的改进。TiT通过引入内部Transformer层来增强模型的表示能力，而BoT通过引入瓶颈结构来提高模型的效率。它们都是在Transformer模型的基础上进行的创新，并在不同方面对模型进行了优化。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值