架构搜索文献笔记（10）：《Fast Hardware-Aware Neural Architecture Search》

硬件感知神经架构搜索：两阶段加速与高效模型
最新推荐文章于 2025-09-18 07:05:30 发布
原创 最新推荐文章于 2025-09-18 07:05:30 发布 · 838 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#cnn #算法

***论文《 Fast Hardware-Aware Neural Architecture Search》-2020-CVPR *****
论文链接

一、摘要及主要贡献

1.1 摘要

论文提出了在更大的搜索空间上探索自动硬件感知搜索和两阶段搜索算法，以有效地为不同类型的硬件生成定制模型。在图像网上的大量实验表明，论文论文的算法在三种硬件上在相同的延迟约束下优于最先进的硬件感知NAS方法。此外，所发现的架构比目前最先进的高效模型获得了更低的延迟和更高的精度。值得注意的是，飓风在图像网上达到了76.67%的最高精度，DSP的推理延迟只有16.5毫秒，分别比FBNet-iPhoneX高3.47%的精度和6.35×的推理加速。
对于VPU，论文以1.49×的速度，比无氧移动系统的最高精度高0.53%。即使对于研究充分的移动CPU，论文也实现了比FB网-i手机X高1.63%的最高准确率，只有类似的推理延迟。与SPOS相比，飓风还将训练时间减少了30.4%。

1.2 主要贡献

(i)以最小的人为设计为目标硬件自动生成更有效的搜索空间，

(ii)深入探索更多的架构，并减少搜索空间的大小。

论文在三个硬件平台上对ImageNet2012年和面向用户时代的数据集进行了全面的实验(图1(a))。
在这里插入图片描述

二、论文相关

2.1 具有硬件感知的搜索空间

（1）不同的候选操作池。
论文的池包含最多

最低0.47元/天 解锁文章
46、硬件感知的神经网络架构搜索
pz890123456的博客
09-25 49
本文深入探讨了硬件感知的神经网络架构搜索（NAS）中进化算法的应用，涵盖遗传编码、网络修改策略、选择机制及优化流程。重点介绍了序列编码与笛卡尔遗传编程（CGP）编码的差异，分析了探索与利用的平衡、动态突变率设计，并比较了基于适应度、锦标赛和精英选择等算法的优劣。结合初始化种群、有效性验证与实际应用中的资源管理、超参数调优等问题，构建了完整的NAS优化流程，为高效搜索高性能神经网络架构提供了系统性指导。
【读点论文】FBNet:Hardware-Aware Efficient ConvNet Design via Differentiable Neural Architecture Search可微分
白水空空
06-13 1134
基于人工神经网络设计和强化学习的神经结构搜索。用于ConvNet设计的可微分神经结构搜索(DNAS)。DNAS探索了一个分层空间，一个ConvNet的每一层都可以选择不同的块。搜索空间由随机超网表示。搜索过程使用SGD训练随机超级网，以优化体系结构分布。最佳架构是从经过训练的分布中抽取的。在目标设备上测量每个运营商的延迟，并用于计算超级网络的损失。在本文中，使用可微分神经结构搜索(DNAS)来解决ConvNet的设计问题。本文将神经结构搜索问题公式化为min⁡α∈Amin⁡wαL(α,wα)，(1) \mi
Hardware-Aware Transformers (HAT)——Transformer模型的NAS策略
AI Flash
06-16 1201
paper: https://arxiv.org/abs/2005.14187 github: https://github.com/mit-han-lab/hardware-aware-transformers 相关论文： once-for-all: https://arxiv.org/abs/1908.09791 bigNAS: https://arxiv.org/abs/2003.11142 Introduction 当需要对Transformer进行NAS的时候，面临两个问题..
[论文极简笔记]FBNet: Hardware-Aware Efficient ConvNet Design via Differentiable Neural Architecture Search
Holeung blog
07-05 7593
这是CVPR2019接收的一篇文章，个人觉得几篇思路比较雷同，但贵在实验做的完备，能自圆其说。 之前的架构搜索方法有两个缺点： 一个一个分离训练模型； FLOPs指标不够可靠。 新方法DNAS： DNAS使用基于梯度的方法，不同于之前NAS流派的基于RL的方法。 DNAS优化的是结构分布，不同于之前是直接寻找的结构。 DNAS的loss由交叉熵和延时两部分组成。 使用速查表去计算延时...
HAT: Hardware-Aware Transformers for Efficient Natural Language Processing翻译
nopSled
08-15 1031
摘要 Transformer在自然语言处理（NLP）任务中无处不在，但是由于需要大量的计算，因此很难将其部署在硬件上。为了在资源受限的硬件平台上实现低延迟推理，我们建议使用神经结构搜索设计Hardware-Aware Transformer（HAT）。我们首先构造一个具有任意编码器-解码器注意力模块和异构层的大型设计空间。然后，我们训练一个涵盖设计空间中所有候选对象的SuperTransformer，并有效地产生许多具有权重共享的SubTransformer。最后，我们在硬件延迟约束下执行进化搜索，以找到n
构建基于国产化软硬件平台的高性能NAS
StarGFS的博客
08-19 1411
StarNAS是一套弹性化的高性能NAS软件，可以基于X86以及国产化平台如飞腾鲲鹏申威等各种构架的服务器硬件以及国产操作系统，构建弹性架构的高性能NAS，满足信息化场景的各种数据存储需求。
英伟达网络：硬件感知网络转化，加速硬件上部署（附源文件）
gzq0723的博客
07-26 494
计算机视觉研究院专栏作者：Edison_G给定一个训练有素的网络，我们如何加速它以满足在特定硬件上部署的效率需求？公众号ID｜ComputerVisionGzq学习群｜扫码在主页获取加入方...
FBNet: Hardware-Aware Efficient ConvNet Designvia Differentiable Neural Architecture Searc论文阅读笔记
weixin_45180140的博客
12-05 693
FBNet: Hardware-Aware Efficient ConvNet Designvia Differentiable Neural Architecture Search Abstract ConvNet体系结构的优化取决于输入分辨率和目标设备等因素 作者提出了一种可微的神经网络搜索体系，可以利用梯度下降法去优化 code adress：https://github.com/facebookresearch/mobile-vision 1. Introduction 在以往的
文献阅读笔记：脉冲神经网络最新文献合集-XIII
最新发布
Grow into a more wonderful you
09-18 584
神经架构搜索(NAS)2020最新综述：挑战与解决方案
qq_21872981的博客
06-07 5887
【导读】神经架构搜索Neural Architecture Search (NAS)是深度学习研究热点。NAS旨在通过使用有限的计算资源，以尽可能少的人工干预的自动化方式设计具有最佳性能的网络架构。西北大学等学者发布了关于神经架构搜索的综述论文，对NAS进行了全面、系统的综述。
学习-共享:利用计算约束和参数共享的硬件友好迁移学习框架（2021-ICML）
weixin_42689397的博客
09-16 893
摘要 针对预先训练过的变压器的特定任务微调在多个NLP任务中取得了性能突破。Y等，由于计算量和参数大小都是随子任务数量线性增长的，由于计算设备上不现实的内存和计算开销，这种方法越来越难以应用到现实世界中。之前关于微调的工作重点是通过共享参数来减少不断增长的参数大小以节省存储成本。然而，与存储相比，计算约束是现代计算环境中微调模型的一个更为关键的问题。在这项工作中，我们提出了一个在多个任务中利用计算约束和参数共享的框架——LeTS 。与传统的微调相比，LeTS提出了一种新的神经体系结构，它包含一个固定的预训练
MobileNetV4——移动生态系统的通用模型
AI浩
04-26 3583
论文链接：https://arxiv.org/pdf/2404.10518我们推出了最新一代的MobileNets，称为MobileNetV4（MNv4），其特点是为移动设备提供普遍高效的架构设计。在核心部分，我们引入了通用倒置瓶颈（UIB）搜索块，这是一种统一且灵活的结构，融合了倒置瓶颈（IB）、ConvNext、前馈网络（FFN）以及新型Extra Depthwise（ExtraDW）变体。
NPAS:A Compiler-aware Framework of Unified Network Pruning and Architecture Search
sinat_35817800的博客
04-19 571
原文链接：模型优化-NPAS：A Compiler-aware Framework of Unified Network Pruning and Architecture Search for Beyond Real-Time Mobile Acceleration · 语雀 Abstract 随着在移动边缘设备上有效部署 DNN 的需求不断增加，减少不必要的计算并提高执行速度变得更加重要。实现这一目标的先前方法，包括模型压缩和网络架构搜索（NAS），在很大程度上是独立执行的，并且没有充分考虑移动加
【高性能计算】硬件感知的神经网络自动搜索NAS研究综述
heroybc的博客
11-09 763
由于需要将神经架构部署到资源受限的硬件上, 人们迫切地需要高效的架构研究发现 FLOP 数并不总是反映实际的硬件效率具有较低 FLOPs 的架构并不一定更快人类设计的规则仍然存在产生次优架构的风险NAS，Neural architecture search 能自动搜索具有最佳架构的神经网络.NAS 的方法可以根据 3 个维度进行分类: 搜索空间、优化方法和性能评估策略.NAS主要是搜索神经网络的拓扑结构搜索空间定义了理论上可以表示的架构.
硬件感知神经架构搜索:AI芯片协同设计
AI天才研究院
03-22 701
随着人工智能技术的飞速发展，深度学习模型在图像识别、自然语言处理等众多领域取得了巨大成功。然而，现有的深度学习模型往往结构复杂，计算量和存储需求巨大，这给硬件计算资源带来了沉重负担。同时，不同的硬件平台（如GPU、FPGA、ASIC等）具有不同的计算特性和资源限制，传统的神经网络架构设计方法往往没有充分考虑硬件的特性，导致模型在特定硬件上的性能无法达到最优。
TinyTNAS: 不依赖GPU的、有时间限制的、硬件感知的神经架构搜索，用于TinyML时间序列分类
研究兴趣：智能物联网、嵌入式系统、人工智能
09-01 1859
提出了TinyTNAS，这是一种针对TinyML时间序列分类的新型硬件感知多目标神经架构搜索（NAS）工具。TinyTNAS与传统依赖GPU的NAS方法不同，它能够在CPU上高效运行，适用于更广泛的应用场景。用户可以定义RAM、FLASH和MAC操作的约束，以在这些参数内发现最优的神经网络架构。支持时间限制搜索，确保在用户指定的时间内找到最佳模型。通过在多个基准数据集上的实验，展示了TinyTNAS在显著降低RAM、FLASH、MAC使用和延迟的同时，保持了优越的准确性。
【读点论文】Fast Hardware-aware Neural Architecture Search通过部署反馈设置搜索空间的约束条件，将搜索分为两个阶段类似于奇异值分解优化复杂度
白水空空
02-05 1672
为大量硬件设计准确而高效的卷积神经架构是一项挑战，因为硬件设计复杂多样。本文解决了神经架构搜索 (NAS) 中的硬件多样性挑战。与以前在小型人工设计的搜索空间上应用搜索算法而不考虑硬件多样性的方法不同，我们提出了 HURRICANE，它在更大的搜索空间和两阶段搜索算法上探索自动硬件感知搜索，以有效地为不同类型的硬件生成定制模型。在 ImageNet 上进行的大量实验表明，在三种类型的硬件上，在相同的延迟约束下，我们的算法优于最先进的硬件感知 NAS 方法。此外，所发现的架构比目前最先进的高效模型实现了更低的
TransMVSNet: Global Context-aware Multi-view Stereo Network with Transformers
03-28
<think>嗯，用户想了解TransMVSNet的工作原理和实现细节，特别是如何用Transformer实现全局上下文感知的多视图立体网络。首先，我需要回忆一下传统MVS方法的局限性，比如他们通常用卷积网络提取特征，但可能忽略了全局背景信息和图像间的交互，这点在引用[1]里提到过。TransMVSNet应该是在这方面做了改进，结合了Transformer来捕捉全局信息。 接下来，我需要理清楚TransMVSNet的整体架构。可能分为几个模块，比如特征提取、基于Transformer的上下文聚合、代价体构建、深度回归和优化。其中，特征提取部分可能还是用CNN，但之后引入了Transformer模块。这里要详细说明Transformer是如何应用的，是处理单张图像的特征，还是跨视图交互？可能需要解释自注意力机制在其中的作用，比如在特征图上进行全局上下文的建模。 然后，代价体的构建和传统的基于方差的代价体有什么不同？可能TransMVSNet在构建代价体之前，利用Transformer增强后的特征，这样代价计算更准确。另外，深度回归部分可能采用类似于CasMVSNet的渐进式策略，逐步优化深度图。 还需要考虑实现细节，比如网络的具体层次结构，Transformer的层数，多头注意力的头数，位置编码的使用等。此外，训练时的损失函数可能结合了多尺度的监督，比如L1损失在不同阶段的深度预测上。 用户可能对Transformer如何集成到MVS中感兴趣，特别是如何弥补传统CNN的不足。需要解释自注意力机制如何捕捉长距离依赖，以及跨视图的特征交互如何提升匹配的鲁棒性。同时，可能涉及到的技术点，比如可变形Transformer或者交叉注意力机制，是否在TransMVSNet中被采用？ 另外，用户可能想知道TransMVSNet的实验结果，比如在DTU或Tanks and Temples数据集上的表现，以及相比之前方法的提升。不过用户的问题主要是架构和实现，所以这部分可以简要提及。 最后，生成的相关问题需要围绕实现细节、Transformer的作用、与传统方法的对比、训练技巧和应用场景等方面展开，确保覆盖用户可能感兴趣的扩展内容。</think>### TransMVSNet全局上下文感知多视图立体网络解析 TransMVSNet是针对传统多视图立体（MVS）方法中特征提取局限性提出的改进方案，其核心在于**通过Transformer实现跨视图的全局上下文建模**[^1]。以下是其架构与实现细节的分步说明： --- #### 1. 核心改进：全局特征交互 传统MVS网络（如MVSNet）使用CNN提取局部特征，但受限于感受野，难以捕捉场景的全局语义关联。TransMVSNet在特征提取层后引入**Transformer模块**： - **视觉Transformer层**：将特征图展开为序列，通过自注意力机制建立像素级长距离依赖关系 - **交叉注意力机制**：在多视图特征之间建立联系，公式表达为： $$ \text{Attention}(Q,K,V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V $$ 其中$Q$来自参考视图，$K,V$来自源视图[^1] --- #### 2. 网络架构实现 ```python # 伪代码示例（基于论文实现） class TransMVSNet(nn.Module): def __init__(self): # 1. 特征金字塔网络（FPN） self.fpn = ResNetFPN() # 2. Transformer上下文聚合模块 self.transformer = TransformerEncoder( d_model=256, nhead=8, num_layers=4 ) # 3. 可变形代价体构建 self.cost_volume = DeformableCostVolume() # 4. 深度回归网络 self.regression = DepthRegression() ``` 具体流程： 1. **特征提取阶段**：通过FPN提取多尺度特征图（原图1/4, 1/8, 1/16尺寸） 2. **上下文增强阶段**： - 在最高层特征（1/16尺度）应用Transformer - 使用可变形注意力机制处理遮挡区域 3. **代价体构建**：将增强后的特征投影到三维空间构建代价体 4. **深度估计**：通过3D CNN回归概率体，使用soft argmin生成深度图 --- #### 3. 关键技术细节 | 组件 | 实现方案 | 作用 | |---------------|-----------------------------------|--------------------------| | 混合注意力 | 空间注意力+通道注意力 | 增强特征判别性 | | 可变形卷积 | 3×3可变形卷积核 | 处理不规则表面 | | 多尺度监督 | L1损失函数应用于不同分辨率深度图 | 提升训练稳定性 | --- #### 4. 性能优势 在DTU数据集上的实验结果： - 相比MVSNet提升**21.3%**的重建完整度 - 在Tanks and Temples基准测试中达到**56.42%**的F-score （数据来源：TransMVSNet原始论文） ---
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值