Improving Deep Transformer with Depth-Scaled Initialization and Merged Attention阅读笔记

最新推荐文章于 2025-09-10 17:08:57 发布
原创 最新推荐文章于 2025-09-10 17:08:57 发布 · 829 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文探讨了深度Transformer模型面临的梯度消失问题，提出深度缩放初始化（DS-Init）和合并注意力子层（MAtt）两种方法。DS-Init通过调整初始化策略减少残差链接的方差，MAtt则结合self-attention和encoder-decoder attention以降低计算复杂度。

1 Abstract

最近在NLP领域，普遍都通过增大神经网络的深度来增强模型的性能和模型容量，然而简单的堆叠神经网络例如在Transformer模型中，会使模型变得难以训练，收敛性会变差并且还会使计算复杂度增高。
在本文中，作者认为深度模型难以收敛主要是因为梯度消失现象，而这一现象在Transformer中主要是由于残差链接和层正则化之间的相互影响。
在本文中，作者提出了两个方法来解决上述问题：
（1） Depth-scaled initialization(DS-Init) 该模型主要通过在初始化阶段减少模型参数的方差，并以此来减少残差链接输出的方差。从而缓解反向传播过程中通过正则化层时的梯度问题。
（2） Merged Attention sublayer(MAtt) 该模型主要为了缓解decoder的计算复杂性。作者将decoder端的self-attention和encoder-decoder attention进行组合，从而形成MAtt

2 Introduction

在图像领域，好的模型一般都有很深的深度，而在NLP领域，尤其是Transformer却难以加深层次。作者对比了近期其他研究者的工作，认为深度Transformer中遭受了很严重的梯度消失问题（如下图所示），作者认为这种现象是由于层间的残差链接以及层正则化的影响。
在这里插入图片描述
由图中可以看到，当模型的层数不断加深时，浅层网络中的梯度消失的现象十分明显。
具体来说，DS-Init通过在初始化阶段使用一个与层数相关的折扣系数（discount factor ） 1 ( l ) \frac {1}{\sqrt(l)} (

最低0.47元/天 解锁文章
多模态预训练模型选用指南（Vision-Language Pre-traning）
nakaizura
05-03 4070
关于预训练的诸多模型，博主已经在以往的文章中整理过： Cross-modal Pretraining in BERT（跨模态预训练） OpenAI CLIP，DALL-E CLIP在视频领域的应用（CLIPBERT，CLIP4Clip，CLIP2Video，CLIPTV） 本篇整理一下最近几篇关于Vision-Language Pre-traning(VLP)的综述文章，以及一篇很不错的，关于各个组件的选用指南文章。 VLP: A Survey on Vision-Language Pre-traini
VLP、多模态图文任务（1）
qq_41458274的博客
09-20 1606
我们将VLP方法大致分为两类：(i) 双编码器（dual encoder）和 (ii) 融合编码器(fusion encoder)。
Improving Transformer Optimization Through Better Initialization
QingerBig的博客
03-12 841
在本文中，作者对Transformer难以优化这一问题进行了探究，并对模型的初始化方法提出了改进。 在Transformer框架中，self-attention的引入使得模型变得难以优化，想要有效的对其进行优化必须使用一些训练上的技巧，如learning rate warmup。 本文作者的贡献主要在以下两个方面： 分析了transformer难以被优化的原因。 提出了一种新的权重初始化策略，使用该策略可以使得模型在没有warmup和LN的情况下被训练。 Transformer的成功训练一般需要以下因素：
[文献阅读]—Deep Transformers with Latent Depth
jokerxsy的博客
12-25 1665
前言 论文地址：https://proceedings.neurips.cc/paper/2020/file/1325cdae3b6f0f91a1b629307bf2d498-Paper.pdf 前人工作&存在问题 由于transformer在多语言MT、跨语言PT、和多任务上的应用，模型容量需要被扩大。 然而，transformer不是越深越好（梯度消失）。具体的，在多语言\任务上，如何增大模型容量，同时保证语言、任务之间有正向的迁移，是一个开放的命题。 本文贡献 训练隐变量，用隐变量的采样来选
如何在NLP中有效利用Deep Transformer？
喜欢打酱油的老鸟
01-18 1061
2020-01-18 04:15:10 作者 | 王子扬编辑 | Camel 2017年，谷歌在“Attention is all you need”一文中首次提出了完全基于self-attention（自注意力）机制的transformer模型，用于处理序列模型的相关问题，如机器翻译等。传统的神经机器翻译模型大都是采用RNN或者CNN作为encoder-decoder模型的基础，而Tra...
【论文笔记】Improving Transformer-based End-to-End Speech Recognition with CTC and LM Integration
Blogs of TrainerNN
10-22 783
题目： Improving Transformer-based End-to-End Speech Recognition with Connectionist Temporal Classification and Language Model Integration 链接： http://www.isca-speech.org/archive/Interspeech_2019/abstracts/1938.html 标签： Speech Recognition, Transformer, CTC, LM
【阅读文献笔记】DIFIX3D+: Improving 3D Reconstructions with Single-Step Diffusion Models
最新发布
qq_46460379的博客
09-10 1433
提出一个高效、通用的 pipeline (DIFIX3D+)，显著提升 NeRF 和 3DGS 的重建与渲染质量，FID 指标提升 2 倍。
论文总结--Improving 3D Object Detection with Channel-wise Transformer
m0_60799447的博客
11-12 912
CT3D方法的关键特点是利用一个自定义的Transformer架构，通过通道级的自注意力机制来增强提议的特征表示，并精炼3D物体检测任务中的候选框。
【论文阅读】【3d目标检测】Improving 3D Object Detection with Channel-wise Transformer
hgj1h的博客
04-22 920
标题：Improving 3D Object Detection with Channel-wise Transformer iccv2021 浙江大学 阿里达摩院 著名的CT3d 文章是在点上进行transformer，前面的文章曾说过在巨大的点云上进行tranformer计算量是巨大的 所以这篇文章玩了点小聪明 利用transformer设计refinement net 文章基于利用原始点的特征足够来进行box refinement的假设来进行行文 老规矩 上图 可以看到trans主要是用在了编码和解
深度学习attention原理_深度学习：前沿技术-Attention：一个实例说明Attention机制...
weixin_33087827的博客
01-12 663
内容纲要Attention机制早在一两年前就有所耳闻，它作为一般NN，CNN和RNN(LSTM)等深度学习的一个加强技术，当时已经成为NLP领域的研究热点。随着Attention机制在机器翻译、图片描述、语义蕴涵、语音识别和文本摘要等各大领域取得成功，使得它成为现在成为一个不可不学习的技术。本文将由浅入深，通过一个简单例子介绍Attention的机制原理。预备知识：假设你已经对深度学习已经熟悉，并...
技术科普与解读：ChatGPT 大模型硬核解读！（三）GPT-4的多模态架构
06-17 3160
本文选自《GPT-4核心技术分析报告》的第2章的简写版（无公式版）。前两节从GPT家族的发展历史开始，讲解GPT-4的多模态架构和GPT-4中的关键技术。作者陈巍博士为AI/存算一体专家，曾担任华为系自然语言处理企业的首席科学家。技术科普与解读：ChatGPT 大模型硬核解读！（一）家族历史从GPT-1到ChatGPT技术科普与解读：ChatGPT 大模型硬核解读！（二）GPT4 的多模态涌现能力...
Attention机制学习记录（三）
pengxiang1998的博客
10-22 2019
通过Query和存储器内元素Key的地址进行相似性比较来寻址，之所以说是软寻址，指的不像一般寻址只从存储内容里面找出一条内容，而是可能从每个Key地址都会取出内容，取出内容的重要性根据Query和Key的相似性来决定，之后对Value进行加权求和，这样就可以取出最终的Value值，也即Attention值。Attention机制的具体计算过程，如果对目前大多数方法进行抽象的话，可以将其归纳为两个过程：第一个过程是根据Query和Key计算权重系数，第二个过程根据权重系数对Value进行加权求和。
视觉语言多模态预训练综述
Scabbards_的博客
08-28 1685
一个综述，包括模型结构，预训练模型以及融合方法等
【深度学习+面经】Transformer 网络学习笔记
BetterBench的博客
06-07 5219
目录1 引言2 详解3 优缺点3.1 优点3.2 缺点4 应用领域5 面经5.1 第一部分5.2 第二部分 1 引言 Transformer中抛弃了传统的CNN和RNN，整个网络结构完全是由Attention机制组成。更准确地讲，Transformer主要由多头self-Attenion和Feed Forward Neural Network组成。一个基于Transformer的可训练的神经网络可以通过堆叠Transformer的形式进行搭建，作者的实验是通过搭建编码器和解码器各6层，总共12层的Enco
[METER]-跨模态论文阅读笔记
yangyanbao8389的博客
01-18 5401
论文链接：https://arxiv.org/abs/2111.02387 代码链接：GitHub - zdou0830/METER: METER: A Multimodal End-to-end TransformER Framework Vision-and-language预训练模型(VLP)总览 基本流程： 输入图片，通过Vision Encoder模块抽取图像特征 输入文本，通过Text Endocer模块抽取文本特征 输入图像、文本特征，通过Multimodal Fusi
陈巍：LLaMA-2的多模态版本架构与训练详解（收录于GPT-4/ChatGPT技术与产业分析）
chenweiPhD的博客
04-02 1588
陈巍博士，大模型+AI芯片专家，高级职称。国际计算机学会（ACM）、中国计算机学会（CCF）专业会员。主要研究方向为大模型架构、稀疏压缩与部署加速，存算一体、AI芯片与3D Chiplet处理器，相关技术成果已被广泛应用于知名IDC和互联网企业。曾任领域知名人工智能（自然语言处理）企业首席科学家，中国科学院副主任，曾担任多个国家科技重大专项负责人。中国与美国发明专利软件著作权约70+项（约50+项发明专利已授权）。
五花八门的多模态模型如何选择？
fareise的博客
04-02 4954
微软近期发表的一篇论文An Empirical Study of Training End-to-End Vision and Language Transformers（2022）进行了大量的实验，对不同VLP模型、各个模块不同配置的效果。
TensorFlow实现(十一)Attention机制
yanqianglifei的专栏
06-11 3329
原理介绍 图片1 图片2 图片3 更多资料： https://distill.pub/2016/augmented-rnns/#attentional-interfaces https://www.cnblogs.com/shixiangwan/p/7573589.html#top http://baijiahao.ba...
BSRT: Improving Burst Super-Resolution with Swin Transformer and Flow-Guided Deformable Alignment论文原理解读
07-05
<think>我们聚焦于论文"BSRT: Improving Burst Super-Resolution with Swin Transformer and Flow-Guided Deformable Alignment"的原理解读。该论文的核心创新在于结合了流引导可变形对齐（Flow-Guided Deformable Alignment）和Swin Transformer，以解决突发超分辨率（Burst SR）中的两大挑战：噪声和图像不对齐问题。以下将分模块详细解析： ### 1. **整体框架概述** BSRT是一个端到端的突发超分辨率网络，输入为一系列低分辨率（LR）突发图像$\{I_1, I_2, \dots, I_N\}$（通常$N=14$），输出为一张高分辨率（HR）图像$I_{HR}$。其框架分为四个关键阶段： 1. **特征提取**：使用卷积层提取每帧的浅层特征。 2. **流引导可变形对齐（FGDA）**：通过光流估计引导可变形卷积，实现多帧特征对齐。 3. **特征融合与增强**：采用Swin Transformer模块进行全局特征融合和增强。 4. **重建**：上采样对齐后的特征并生成HR图像。 ### 2. **核心模块原理详解** #### 2.1 特征提取（Feature Extraction） - **目的**：从每帧LR图像中提取基础特征，作为后续处理的输入。 - **方法**：使用两层卷积层（Conv+ReLU）提取浅层特征$F_i$： $$ F_i = \text{Conv}(\text{ReLU}(\text{Conv}(I_i))) $$ 输出特征图尺寸与输入相同（例如$H \times W \times 64$）[^1]。 #### 2.2 流引导可变形对齐（Flow-Guided Deformable Alignment, FGDA） - **问题**：突发序列中存在相机抖动和物体运动，需精确对齐多帧特征。 - **传统方法局限**：光流对齐对运动模糊敏感，可变形卷积（DCN）虽灵活但训练不稳定。 - **FGDA创新**：**融合光流和可变形卷积**，分两步实现鲁棒对齐： **步骤1：光流估计（Flow Estimation）** 使用轻量级PWC-Net[^3]估计参考帧（$I_1$）与其他帧（$I_i, i>1$）之间的双向光流$\overrightarrow{F_{i \to 1}}$和$\overleftarrow{F_{1 \to i}}$： $$ \overrightarrow{F_{i \to 1}}, \overleftarrow{F_{1 \to i}} = \text{PWC-Net}(I_1, I_i) $$ **步骤2：流引导可变形卷积（Flow-Guided DCN）** - 将光流作为初始偏移量，输入到可变形对齐模块。 - 通过卷积层预测偏移量修正值$\Delta p_i$和调制掩码$m_i$： $$ \Delta p_i, m_i = \text{Conv}\left(\text{Concat}(F_i, \overrightarrow{F_{i \to 1}})\right) $$ - 最终对齐特征$F_i^{\text{aligned}}$通过可变形卷积生成： $$ F_i^{\text{aligned}} = \sum_{k \in \mathcal{K}} w_k \cdot F_i(p + \overrightarrow{F_{i \to 1}} + \Delta p_i^k) \cdot m_i^k $$ 其中$\mathcal{K}$是卷积核采样点索引，$w_k$为权重，$p$为当前位置坐标[^1]。 - **优势**：光流提供鲁棒的运动初始化，可变形卷积学习残差偏移，共同提升对大位移和模糊的适应性。 #### 2.3 特征融合与增强（Swin Transformer Module） - **目的**：对齐后的多帧特征需融合并增强细节，抑制噪声。 - **方法**：采用层级式Swin Transformer块构建特征金字塔。 - **输入**：对齐后的特征序列$\{F_1, F_2^{\text{aligned}}, \dots, F_N^{\text{aligned}}\}$。 - **操作**： 1. **特征拼接**：沿通道维度拼接所有对齐特征，得到$F_{\text{concat}} \in \mathbb{R}^{H \times W \times (N \cdot C)}$。 2. **通道压缩**：用$1\times1$卷积降维至$C$通道（例如$C=128$）。 3. **Swin Transformer处理**： - 将特征图划分为非重叠窗口（如$8\times8$）。 - 在窗口内计算自注意力（Window-based Multi-head Self-Attention, W-MSA）： $$ \text{Attention}(Q,K,V) = \text{SoftMax}\left(\frac{QK^T}{\sqrt{d}} + B\right)V $$ 其中$B$为相对位置偏置。 - 交替使用常规窗口和移位窗口（Shifted Window）以扩大感受野。 4. **跨尺度特征融合**：通过跳跃连接聚合不同层特征，形成金字塔结构[^1]。 - **优势**：Swin Transformer的全局建模能力显著提升纹理恢复质量，同时移位窗口机制保持计算高效。 #### 2.4 重建模块（Reconstruction） - **输入**：Swin Transformer输出的增强特征$F_{\text{enhanced}} \in \mathbb{R}^{H \times W \times C}$。 - **上采样**：使用亚像素卷积（PixelShuffle）逐步放大特征图： $$ I_{HR} = \text{PixelShuffle}(\text{Conv}(F_{\text{enhanced}})) $$ - **损失函数**：组合$L_1$损失和感知损失（Perceptual Loss）： $$ \mathcal{L} = \lambda_1 \|I_{HR} - I_{\text{gt}}\|_1 + \lambda_2 \sum_{l} \|\phi_l(I_{HR}) - \phi_l(I_{\text{gt}})\|_2 $$ 其中$\phi_l$表示VGG-19第$l$层的特征[^1]。 ### 3. **性能优势与实验结果** - **对齐精度**：FGDA在Urban100数据集上比传统DCN提升PSNR约0.8 dB。 - **噪声鲁棒性**：Swin Transformer的注意力机制有效抑制噪声，在合成噪声测试中SSIM提高4%。 - **计算效率**：相比ViT，Swin Transformer的窗口注意力降低计算复杂度至$O(HW)$，适合处理高分辨率图像[^1]。 ### 4. **与引用论文的关系** - BSRT的FGDA模块受启发于BasicVSR++的光流引导可变形对齐[^3]，但将其应用于突发超分辨率并优化了金字塔结构。 - Swin Transformer的引入借鉴了SwinIR[^2]的思想，但调整了窗口尺寸以适应突发序列的融合需求。 ### 总结 BSRT通过流引导可变形对齐解决运动偏移问题，利用Swin Transformer实现噪声鲁棒的特征增强，形成了一套高效的突发超分辨率方案。其在RealBurst数据集上PSNR达32.7 dB，超越同期方法2 dB以上[^1]。 §§相关问题§§ 1. 流引导可变形对齐（FGDA）如何平衡光流和可变形卷积的计算开销？ 2. Swin Transformer在突发超分辨率中为何比传统CNN更有效？ 3. BSRT如何处理突发序列中的极端运动模糊？ 4. 金字塔结构在FGDA中具体如何实现？ [^1]: BSRT: Improving Burst Super-Resolution with Swin Transformer and Flow-Guided Deformable Alignment [^2]: SwinIR: Image Restoration Using Swin Transformer [^3]: BasicVSR++: Improving Video Super-Resolution with Enhanced Propagation and Alignment</think>### BSRT论文原理详解：流引导可变形对齐与Swin Transformer的应用 BSRT（*Burst Super-Resolution with Swin Transformer and Flow-Guided Deformable Alignment*）是一种针对突发超分辨率（Burst SR）的创新框架，通过**流引导可变形对齐（FGDA）**和**Swin Transformer**两大核心技术解决图像噪声与对齐问题。以下是核心原理分步解析： --- #### 1. **整体框架概览** BSRT采用端到端设计，流程如下： ``` 输入突发序列 → 特征提取 → 流引导可变形对齐 → Swin Transformer特征融合 → 重建HR图像 ``` **核心目标**：利用多帧LR图像的互补信息，克服单帧重建的噪声和运动模糊限制[^1]。 --- #### 2. **流引导可变形对齐（Flow-Guided Deformable Alignment）** ##### **问题背景** - 突发序列中存在相机抖动和物体运动，传统光流对齐对**大位移和非刚性运动**效果差。 - 可变形卷积（DCN）虽灵活，但**训练不稳定**，易陷入局部最优。 ##### **FGDA创新设计** 1. **光流引导初始化**： - 使用轻量级PWC-Net估计参考帧$I_1$与其他帧$I_i$间的双向光流： $$ \overrightarrow{F_{i \to 1}}, \overleftarrow{F_{1 \to i}} = \text{PWC-Net}(I_1, I_i) $$ - $\overrightarrow{F_{i \to 1}}$提供运动方向的**强先验**，减少对齐搜索空间[^1]。 2. **可变形卷积残差修正**： - 将光流作为初始偏移量，通过卷积层预测**偏移修正量**$\Delta p$和**调制掩码**$m$： $$ \Delta p, m = \text{Conv}\left(\text{Concat}(F_i, \overrightarrow{F_{i \to 1}})\right) $$ - 最终对齐特征计算： $$ F_i^{\text{aligned}} = \sum_{k \in \mathcal{K}} w_k \cdot F_i\left(p + \overrightarrow{F_{i \to 1}} + \Delta p_k\right) \cdot m_k $$ 其中$\mathcal{K}$为卷积核采样点，$p$为当前位置[^1]。 3. **金字塔结构优化（Pyramid FG-DCN）**： - 在多尺度特征图上重复FGDA操作（如1/4, 1/2, 原尺度）。 - **优势**：粗到细的对齐策略提升大运动处理能力，PSNR提升0.8 dB[^1]。 ##### **与传统对齐的对比** | **方法** | 优势 | 缺陷 | |----------------|-----------------------------|------------------------| | 传统光流对齐 | 物理意义明确 | 对模糊/大位移敏感 | | 普通可变形对齐 | 适应非刚性运动 | 训练不稳定 | | **FGDA** | 光流初始化+残差学习，稳定且精准 | 计算量略增 | --- #### 3. **Swin Transformer特征融合** ##### **设计动机** - CNN感受野有限，难以建模**长距离依赖**（如重复纹理）。 - 突发序列需融合多帧全局信息，抑制噪声。 ##### **关键实现** 1. **特征压缩与输入**： - 将对齐后的多帧特征沿通道维拼接：$F_{\text{concat}} \in \mathbb{R}^{H \times W \times (N \cdot C)}$ - 通过$1\times1$卷积压缩至固定通道数（如128维）。 2. **层级式Swin Transformer块**： ```mermaid graph LR A[输入特征] --> B[窗口划分] B --> C[窗口内自注意力] C --> D[跨窗口信息交互] D --> E[层级特征金字塔] ``` - **窗口自注意力（W-MSA）**： 将特征图划分为$M \times M$窗口（如$8\times8$），窗口内计算自注意力： $$ \text{Attention}(Q,K,V) = \text{SoftMax}\left(\frac{QK^T}{\sqrt{d}} + B\right)V $$ 其中$B$为相对位置编码[^1]。 - **移位窗口（Shifted Window）**： 下一层窗口偏移$M/2$像素，实现跨窗口信息交互。 - **特征金字塔**： 不同层输出融合多尺度特征（浅层细节+深层语义）[^1]。 3. **噪声抑制机制**： - 自注意力权重自动弱化噪声区域响应。 - 多帧信息融合通过加权平均降低随机噪声影响。 --- #### 4. **重建模块与损失函数** - **上采样**：使用亚像素卷积（PixelShuffle）逐步放大特征图。 - **损失函数**： - $L_1$重建损失：$ \|I_{HR} - I_{gt}\|_1 $ - 感知损失：基于VGG特征相似性。 - **总损失**：$ \mathcal{L} = \lambda_1 \mathcal{L}_{L_1} + \lambda_2 \mathcal{L}_{\text{perceptual}} $ --- #### 5. **性能优势** | **指标** | BSRT vs. 传统方法 | 关键原因 | |----------|--------------------------|----------------------| | PSNR | 提升2-3 dB（RealBurst数据集） | FGDA精准对齐+Swin全局建模 | | 噪声鲁棒性 | 低光噪声下SSIM提升4% | Swin注意力噪声抑制 | | 计算效率 | 比ViT快1.8倍 | 窗口注意力$O(HW)$复杂度 | --- ### 总结 BSRT通过**光流引导的可变形对齐**解决运动偏移问题，利用**Swin Transformer**实现多帧全局特征融合与噪声抑制，形成了一套高效的突发超分辨率方案。其核心创新在于： 1. **FGDA**：光流初始化+可变形卷积残差修正，平衡精度与稳定性。 2. **Swin融合**：窗口自注意力实现长程依赖建模，特征金字塔增强多尺度细节。 3. **端到端优化**：从对齐到重建的联合训练提升整体性能[^1]。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值