谷歌用傅里叶变换替换Transformer自注意力层!在GPU上快7倍、TPU上快2倍...

《FFTformer:基于频域的高效Transformer用于高质量图像去模糊》 我们提出了一种有效且高效的方法,探索 Transformers 在频域中的属性,用于高质量图像去模糊。我们的方法受卷积定理的启发,即两个信号在空间域中的相关性或卷积等价于它们在频域中的逐元素乘积。这激发我们开发了一种高效的基于频域的自注意力求解器(FSAS),通过逐元素乘法操作估计缩放点积注意力,而不是在空间域中进行矩阵乘法。此外,我们注意到,仅仅使用传统的前馈网络(FFN)并不能生成良好的去模糊结果。 阅读详情

本文转载自:机器之心

来自谷歌的研究团队表明,将傅里叶变换取代 transformer 自监督子层,可以在 GLUE 基准测试中实现 92% 的准确率,在 GPU 上的训练时间快 7 倍,在 TPU 上的训练时间快 2 倍。

Transformer 自 2017 年推出以来,其架构就开始在 NLP 领域占据主导地位。Transformer 应用的唯一限制之一,即 Transformer 关键组件的巨大计算开销–一种自注意力机制,这种机制可以根据序列长度以二次复杂度进行扩展。

基于此,来自谷歌的研究者建议用简单的线性变换替代自注意力子层,该线性变换「混合」输入 token,以较小的准确率成本损失显著的提高了 transformer 编码器速度。更令人惊讶的是,研究者发现采用标准的、非参数化的傅里叶变换替代自注意力子层,可以在 GLUE 基准测试中实现 92% 的 BERT 准确率,在 GPU 上的训练时间快 7 倍,在 TPU 上的训练时间快 2 倍。

论文链接:https://arxiv.org/abs/2105.03824

该研究的主要贡献包括:

  • 通过用标准的非参数化傅里叶变换代替注意力子层,FNet 在 GLUE 基准测试中实现 92% 的 BERT 准确率,在 GPU 上的训练时间快 7 倍,在 TPU 上的训练时间快 2 倍。

  • 仅包含两个自注意子层的 FNet 混合模型在 GLUE 基准上可达到 97%的 BERT 准确率,但在 GPU 上的训练速度快近 6 倍,而在 TPU 上则是 2 倍。

  • FNet 在「Long Range Arena」基准评估中,与所有的高效 transformer 具有竞争力,同时在所有序列长度上拥有更少的内存占用。

 FNet 架构

Transformer 自注意力机制使得输入可以用高阶单元表示,从而可以灵活地捕获自然语言中各种语法和语义关系。长期以来,研究人员一直认为,与 Transformer 相关的高复杂性和内存占用量是不可避免的提高性能的折衷方案。但是在本论文中,Google 团队用 FNet 挑战了这一思想,FNet 是一种新颖的模型,在速度、内存占用量和准确率之间取得了很好的平衡。

FNet 架构。

FNet 是具有多个层的层归一化 ResNet 体系结构,每个层都由一个傅里叶混合子层和一个前馈子层组成。研究者将每个 transformer 编码器层的自注意力子层替换为傅里叶变换子层,该子层将 2D 傅里叶变换应用于其(序列长度、隐藏维度)嵌入输入 - 沿着序列维度和隐藏维度进行一维傅立叶变换。

所得结果是一个复数,可以将其写成实数乘以虚数单位(数学中的数字 i,从而可以求解没有实数解的方程式)。最后仅保留实数,无需修改(非线性)前馈子层或输出层以处理复数。

实验

在评估中,研究者比较了多个模型,包括 BERT-Base、FNet 编码器(用傅里叶子层替换每个自注意力子层)、线性编码器(用线性子层替换每个自注意力子层)、随机编码器( 用常数随机矩阵替换每个自注意力子层)、仅前馈编码器(从 Transformer 层中删除自注意力子层)。

由下表 3 可得,尽管线性模型和 FNet 训练的精确率略低,但它们明显快于 BERT——在 TPU 上大约快 2 倍,在 GPU 上大约快 7 倍。

下表 4 的 GLUE 验证分组中展示了最佳基础学习率的结果:

下图 2 和图 3 显示了 GPU(8 个 V100 芯片)和 TPU(4×4 TPU v3 芯片)预训练的速度与 MLM 准确率曲线。

研究者还利用 Tay 等人代码库,并在相同的硬件(4 × 4 TPU v3 芯片)上进行实验。为了确保实验的公平性,他们还展示了 Long-Range Arena 实验结果。

在下表 7 和表 8 中,研究者还提供了在 TPU(4×4 TPU v3 芯片)和 GPU(8 V100 芯片)上进行实验的可比指标。研究者在序列长度 {512,1024,2048,4096,8192,16386} 上执行网格搜索,而不仅仅是{1K,2K,3K,4K}。此外,该研究还包括 Performer 的结果(Choromanski 等人,2020b)。在比较模型效率时,研究者将 Performer 用作衡量标准。

Transformer玩出新花样:频域自注意力如何用FFT加速图像去模糊? 本文深入解析了Transformer在图像去模糊任务中的创新应用——频域自注意力(FSAS)。通过引入快速傅里叶变换(FFT),将传统二次方复杂度的注意力计算优化至接近线性,实现了效率与精度的双重突破。文章详细阐述了其核心机制、FFT加速原理、判别性频域前馈网络(DFFN)设计以及非对称编码器-解码器架构,为高分辨率图像复原提供了高效解决方案。 阅读详情

相关推荐

【信息科学与工程学】计算机科学与自动化——第一百五十篇 数字逻辑电路07

聚焦于芯片技术中更为底层、交叉和数学化的“第一性原理”与核心模型。这些方程不仅是分析和设计的工具,更是理解芯片物理、系统行为及性能极限的基石,涵盖了从随机过程、优化理论、图论、信息论到热力学极限等多个维度。编号节点/领域规则类别关键参数/规则名称数学/物理模型(核心方程与描述)描述与设计考量406​所有节点随机过程​马尔可夫链与状态转移​离散时间马尔可夫链: `P(X_{t+1}=jX_t=i, X{t-1}, ...) = P(X{t+1}=j407​所有节点优化理论​线性规划标准型与对偶​标准型:

weixin_49199313的博客 405

傅里叶变换才是本质?谷歌这项研究GPU上快7倍、TPU上快2倍

转载自:机器之心来自谷歌的研究团队表明,将傅里叶变换取代 transformer 自监督子层,可以在 GLUE 基准测试中实现 92% 的准确率,在 GPU 上的训练时间快 7 倍,在 T...

深度学习技术前沿 631

【信息科学与工程学】【安全领域】第七十篇 负载均衡设备的主要算法01

每个服务器有一个对槽位的偏好排序, 调度器(表)需要为每个槽位分配一个服务器, 目标是整体上满足所有服务器的偏好(即均匀填充), 同时保持稳定性(变化小)。: 对于一个新到达的请求, 如果将其分配到当前有cj个请求(包括正在服务的)的服务器sj, 其期望等待时间为 (cj + 1) / μj。输入:服务器集群S={s1, s2, ..., sn}, 权重W={w1, w2, ..., wn}, 当前指针i。输出:选中的服务器sj。输入:服务器集群S, 各服务器当前活动连接数cj, 各服务器预设权重wj。

weixin_49199313的博客 527

为什么傅里叶变换可以代替自注意力机制

这个属于个人想法未必是真理还需验证

东方佑 1241

【信息科学与工程学】计算机科学与自动化——第三十五篇 调度理论和调度算法01——资源调度算法

算法逻辑

weixin_49199313的博客 689

基于FFT的动态令牌混合器:突破视觉Transformer的性能瓶颈

本文聚焦于视觉Transformer中计算复杂度高的问题,介绍基于FFT的动态令牌混合器。提出动态滤波器及DFFormer、CDFFormer模型,经实验验证其在图像分类和下游任务中性能出色,处理高分辨率图像时吞吐量和内存效率优势显著。研究还分析模型特性,为视觉模型发展提供新方向。

2501_90186640的博客 1472

论文笔记:FEDformer: Frequency Enhanced Decomposed Transformer for Long-term Series Forecasting

2022 ICML。

qq_40206371的博客 4145

IMA知识库:从0到1的架构设计与实践

本文探讨了AI时代知识库系统的架构设计与演进路径。通过分析知识入库、知识管理和知识应用三大核心业务流程,提出了应对数据多样性、处理标准化、流量洪峰等挑战的解决方案。重点介绍了基于统一数据格式的解耦设计、异步处理架构、服务拆分策略以及权限安全体系,构建了一个稳定、高效且可扩展的知识库系统。文章强调优秀架构需要持续演进,通过识别薄弱点不断优化,最终实现技术方案与业务需求的平衡。

lovehu6686的博客 1739

傅里叶变换取代Transformer自注意力层,谷歌这项研究GPU上快7倍、TPU上快2倍

作者|机器之心编辑部来源|机器之心来自谷歌的研究团队表明,将傅里叶变换取代 transformer 自监督子层,可以在 GLUE 基准测试中实现 92% 的准确率,在 GPU 上的训练时...

Paper weekly 701

Android双目摄像头(RGB+IR)实时预览与人脸活体检测实战指南

本文详细介绍了Android双目摄像头(RGB+IR)实时预览与人脸活体检测的实战指南。通过双摄同步预览、人脸检测与活体判断等技术实现,提升安全认证的准确性和鲁棒性。文章还提供了开发环境搭建、常见问题解决方案及性能优化建议,帮助开发者快速掌握双目摄像头在Android平台的应用。

vulkan6gpu的博客 700

开源onlyoffice编译完整过坑版

onlyoffice 编译过坑完整版;

sHImart 4553

google又出骚姿势-傅里叶变换取代Transformer自注意力层

来自谷歌的研究团队表明,将傅里叶变换取代 transformer 自监督子层,可以在 GLUE 基准测试中实现 92% 的准确率,在 GPU 上的训练时间快 7 倍,在 TPU 上的训练时间快 2 倍。 Transformer 自 2017 年推出以来,其架构就开始在 NLP 领域占据主导地位。Transformer 应用的唯一限制之一,即 Transformer 关键组件的巨大计算开销–一种自注意力机制,这种机制可以根据序列长度以二次复杂度进行扩展。 基于此,来自谷歌的研究者建议用简单的线性变换替

yaohaishen的专栏 635

【仿真技巧】Smart Eye Probe在ADS信号仿真中的应用

Smart_Eye_Probe是一个眼探头,允许灵活数量的输入通道,输入通道支持单端或差分信号的混合,并且,可以使用一个共同的时钟信号触发通道的眼图。目前,仅支持瞬态(Transient)和通道(Channel Sim)逐位模式(Bit by bit)模拟,不支持信道统计(Statistical)模式和DDR总线(DDRSim)仿真。

一只豌豆象的博客 1274

FNet: Mixing Tokens with Fourier Transforms(2021-5-9)

Transformer 自 2017 年推出以来,其架构就开始在 NLP 领域占据主导地位。Transformer 应用的唯一限制之一,即 Transformer 关键组件的巨大计算开销–一种自注意力机制,这种机制可以根据序列长度以二次复杂度进行扩展。基于此,来自谷歌的研究者建议用简单的线性变换替代自注意力子层,该线性变换混合输入 token,以较小的准确率成本损失显著的提高了 transformer 编码器速度。

weixin_49346755的博客 1381

Centos 7 Linux 离线安装使用 MySQL 5.7:下载、安装、配置、使用

本文详细介绍了在 CentOS 7 系统下离线安装 MySQL 5.7 的完整流程,包括环境准备、安装包下载、用户与目录配置、数据库初始化、服务启动与自启设置、root 密码修改、远程访问开启及防火墙配置等关键步骤,并提供了本地与远程客户端(如 Navicat、DBeaver)的连接使用方法,适合无网络环境下的数据库部署参考。

寒水馨 · 轻量级技术文档 · hanshuixin.org 6113

YOLOv8 道路病害检测全栈工程|22 类路面裂缝坑洞 VOC&YOLO 数据集、PyQt 精美 GUI、ONNX 量化、全套训练评估曲线落地

城市道路、国省道、高速公路路面长期受车辆碾压、雨水侵蚀,衍生纵向 / 横向裂纹、坑洼、车辙、接缝剥落等二十余种路面病害。传统人工道路巡检存在致命行业痛点:人工徒步 / 乘车目视巡检效率极低,单日有效巡查里程不足 20 公里;毫米级细微线性裂纹肉眼极易漏检,雨水冲刷后微小病害快速扩张为大坑槽,养护成本翻倍;强光暴晒、阴雨积水、路面油污场景人工分辨难度大;海量巡检图片人工分类统计病害台账耗时数天,养护决策缺乏量化数据支撑。传统阈值、边缘检测图像处理仅能识别大面积坑洞,无法区分二十余种细分裂纹类型,泛化能力极差。

getusushu的博客 126

图表示学习讲座笔记(一)

最后,我们简要讨论一下机器学习项目的一般流程和调试技巧。数据分析与元数据提取:从数据中提取关键信息(如词汇表、边类型数量等),用于指导模型构建。数据转换为张量:将原始数据(文本、图结构等)转换为数值张量。构建小批量:将张量组织成小批量,以利用GPU并行计算。模型训练与优化:将小批量数据输入模型,计算损失,通过反向传播计算梯度并更新模型参数。调试深度学习模型颇具挑战,以下是一些常用策略:在极小数据集上尝试过拟合,如果模型无法学习,则可能存在bug。

龙哥盟 122

YOLO11 Backbone改进:二值化、三值化权重实战(一)

本文介绍了二值化/三值化神经网络的基本概念、优势挑战及应用场景。二值化网络将权重限制为±1,三值化则增加0值,显著减少模型存储需求和计算复杂度。虽然存在精度下降等挑战,但通过技术改进已能在移动设备、自动驾驶等领域应用。文章分析了YOLO11中适合量化的层,并详细阐述了二值化权重原理及Straight-Through Estimator等关键技术。二值化/三值化神经网络为资源受限设备提供了高效的深度学习解决方案。

本博客聚焦 YOLOv11 全流程落地,涵盖架构优化、数据集处理、训练技巧与多场景部署,兼及国产数据库、Java 开发与 AI 模型应用,内容兼顾理论与工程实践,为开发者提供系统干货,助力高效提升技术能力。 300

超强Trick,一个比Transformer更强的CNN Backbone(附源码)

作者:小书童| 来源:集智书童导读继卷积神经网络之后,Transformer又推进了图像识别的发展,成为视觉领域的又一主导。最近有人提出Transformer的这种优越性应归功于Self-Attention的架构本身,本文带着质疑的态度对Transformer进行了仔细研究,提出了3种高效的架构设计,将这些组件结合在一起构建一种纯粹的CNN架构,其鲁棒性甚至比Transformer更优越。视觉T...

3D视觉工坊 1032

面向红外小目标检测的SCTransNet:模型优势解析、代码实现与完整复现指南

摘要:本文详细介绍了基于SCTransNet的红外小目标检测全流程实践方案。针对红外小目标检测面临的三大挑战(特征稀缺、背景干扰、尺度变化),SCTransNet通过空-通道交叉注意力机制有效增强目标特征。文章包含完整的PyTorch实现代码,涵盖特征提取、注意力模块、多尺度融合等核心组件,并提供模型训练、评估的具体方法。同时给出毕设创新方向的建议,如模型轻量化、多模态融合等,帮助提升研究深度。该方案技术难度适中,应用价值明确,是红外目标检测领域理想的毕设选题方向。

m0_71589036的博客 4760

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

对于多模态遥感数据分类的分数傅里叶图像Transformer

论文笔记:《Fractional Fourier Image Transformer for Multimodal Remote Sensing Data Classification》

学习记录 2216

数学建模模型总结

这是本人在两年内准备参加数学建模竞赛搜集到的模型资料,已经经过了本人的筛选和整理,希望能够对准备参加数学建模竞赛的学弟学妹们提供一些帮助!

从信号处理到Transformer:为什么说FFTNet是自注意力的完美替身?

本文探讨了FFTNet如何利用快速傅里叶变换(FFT)技术替代Transformer中的自注意力机制,显著降低计算复杂度至O(nlogn)。通过频域处理、复数域非线性激活等创新设计,FFTNet实现了即插即用的高效全局交互,特别适合处理长序列任务,为深度学习模型提供了新的计算范式。

vvv99的博客 305

华为的C语言编程规范.pdf

华为技术有限公司内部技术规范。本规范制定了编写C语言程序的基本原则、规则和建议。从代码的清晰、简洁、可测试、安全、程序效率、可移植各个方面对C语言编程作出了具体指导。

NTscan扫描工具

ntscan是一个扫描器,可以扫描没有密码和弱密码的共享,先到配置文件中填写猜测的用户名和密码,扫描过程中右侧出现的是扫描日志。

上一篇: Transformer 原理讲解以及在 CV 领域的应用
下一篇: 使用PyTorch来进展不平衡数据集的图像分类
机器学习算法那些事
博客等级 码龄9年 1633粉丝 62原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值