Path-Level Network Transformation for Efficient Architecture Search 神经网络架构搜索

最新推荐文章于 2025-06-10 17:00:40 发布
最新推荐文章于 2025-06-10 17:00:40 发布
阅读量2.5k 收藏 2
点赞数 5
CC 4.0 BY-SA版权
分类专栏： AutoML 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/cFarmerReally/article/details/80887271
本文介绍了一种Path-Level的网络架构搜索方法，旨在通过改变神经网络的拓扑结构来寻找更优的网络设计。论文提出Net2WiderNet和Net2DeeperNet操作，以及使用LSTM和Tree-LSTM的搜索策略，有效减少了GPU计算时间，同时能生成多分支网络结构，以提高表征能力。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

论文链接：Path-Level Network Transformation for Efficient Architecture Search

架构搜索

神经网络
根据一个已有的效果比较好的神经网络结构，找到更好的结构，例如将其中的某一层进行替换，增添一层或者减少一层，改变网络的拓扑结构。
为什么要基于已有的网络？
因为在已有的神经网络上更改拓扑结构可以利用已经训练好的权重，在巨人的肩膀上进步，为了更快的得到更好的结果。
什么是Path-Level?
链式结构如上图，我们称之为Layer-Level
Path-Level如下图：
Path-Level

Layer-Level的架构搜索

给定一个层的候选集(例如：卷积层3*3，卷积层1*1，池化层，identity)，从候选集中选择一个层进行替换。
identity指的是x->x，什么都不做。
如何选择？
1. 暴力搜索：遍历每一种可能的选择通过训练后测试结果反馈来选择结果最好的网络结构。
2. 随机搜索：随机选择一种层通过训练后测试结果反馈来选择结果最好的网络结构。
3. 强化学习：在暴力搜索和随机搜索的过程中，我们可能会发现当前层选择卷积层3*3,无论网络后面怎样选择，效果都比选择卷积层1*1和池化层效果好，那么我们此时就

最低0.47元/天 解锁文章

200万优质内容无限畅学
Paper之EfficientDet: 《Scalable and Efficient Object Detection—可扩展和高效的目标检测》的翻译及其解读
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
01-09 8942
Paper之EfficientDet: 《Scalable and Efficient Object Detection—可扩展和高效的目标检测》的翻译及其解读 导读：2019年11月21日，谷歌大脑团队发布了论文 EfficientDet: Scalable and Efficient Object Detection。 Google Brain 团队的三位 Auto ML 大佬 Ming...
目标检测经典论文——R-CNN论文翻译：Rich feature hierarchies for accurate object detection and semantic segmentation
bigcindy的博客
07-27 5661
Rich feature hierarchies for accurate object detection and semantic segmentation——Tech report (v5) 用于精确物体定位和语义分割的丰富特征层次结构——技术报告（第5版） Ross Girshick Jeff Donahue Trevor Darrell Jitendra Malik UC Berkeley 加州大学伯克利分校 {frbg,jdonahue,trevor,malikg}@...
【神经网络搜索】ENAS:Efficient Neural Architecture Search
pprp的博客
03-01 1323
【GiantPandaCV导语】本文介绍的是Efficient Neural Architecture Search方法，主要是为了解决之前NAS中无法完成权重重用的问题，首次提出了参数共享Parameter Sharing的方法来训练网络，要比原先标准的NAS方法降低了1000倍的计算代价。从一个大的计算图中挑选出最优的子图就是ENAS的核心思想，而子图之间都是共享权重的。 1. 摘要 ENAS是一个快速、代价低的自动网络设计方法。在ENAS中，控制器controller通过在大的计算图中搜索挑选一个最
Path-Level Network Transformation for Efficient Architecture Search
weixin_37958272的博客
07-08 319
Path-Level Network Transformation for Efficient Architecture Search Abstract 我们引入了一种新的函数保持转换，用于有效的神经架构搜索。这种网络转换允许重用先前训练的网络和现有的成功架构，从而提高样本效率。我们的目标是解决当前网络转换操作只能执行层级的限制架构修改，例如添加（修剪）筛选器或插入（删除）层，无法更改连接路径的拓扑。我们提出的路径级转换操作使得元控制器能够在保留权重重用优点的同时修改给定网络的路径拓扑，从而能够有效地设计具
Neural Architecture Search (NAS) 深度解剖：神经架构搜索赋予AI自我进化的元智能
最新发布
qq_43664407的博客
06-10 972
​​核心思想​​：NAS是让​​算法自动设计神经网络​​的技术。就像建筑设计师被AI取代，NAS能在海量可能的网络结构中，智能筛选出最优解。​​类比理解​​​手工设计神经网络​​ ≈ 人工设计汽车发动机（耗时数月）​​NAS​​ ≈ 使用超级计算机模拟测试百万种发动机设计（只需数天）​​方法​​类比特点​​DARTS​​建筑师的智能绘图软件可微分优化，边设计边调整​​汽车工厂的柔性产线专门优化Transformer架构​​变形金刚式的万能车一次训练适应所有设备​。
神经网络架构搜索（Neural Architecture Search）杂谈
热门推荐
世事难料，保持低调
12-02 8万+
机器学习从业者被戏称为“调参工”已经不是一天两天了。我们知道，机器学习算法的效果好坏不仅取决于参数，而且很大程度上取决于各种超参数。超参数的自动搜索优化是一个古老的话题了。深度学习前它主要针对传统机器学习算法的参数，比较经典的方法有random search, grid search，Bayesian optimization，Reinforcement learning, Evolutionar...
Efficient Architecture Search by Network Transformation
nopSled
08-22 675
摘要 自动设计深度神经网络结构的技术（例如基于强化学习的方法）最近显示出令人鼓舞的结果。但是，它们的成功基于大量的计算资源（例如数百个GPU），因此很难被广泛使用。一个明显的局限性是，他们在探索体系结构空间时仍然从头开始设计和训练每个网络，这是非常低效的。在本文中，我们通过探索基于当前网络的结构空间并重用其权重，为高效结构搜索提出了一个新框架。我们使用强化学习agent作为元控制器，其作用是通过功能保留的转换来增加网络深度或层宽度。这样，先前经过验证的网络可以重新用于进一步的探索，从而节省了大量的计算成本。
神经网络结构搜索
RayChiu757374816的博客
08-26 4201
整理了一些神经网络结构搜索的论文解读资料
PathLevel-EAS: 实现ICML 2018高效架构搜索的关键技术
论文的标题是"Path-Level Network Transformation for Efficient Architecture Search"，表明其主要内容是关于路径级网络转换在高效网络架构搜索中的应用。 - 参考文献：文中提到了这篇论文的arXiv预印版信息，可...
（八：2020.08.27）CVPR 2020 追踪之论文纲要（译）
Jojo论文基地
08-27 1万+
CVPR 2019 追踪之论文纲要（修正于2020.08.27）讲在前面论文目录 讲在前面 论坛很多博客都对论文做了总结和分类，但就医学领域而言，对这些论文的筛选信息显然需要更加精细的把控，所以自己对这1400篇的论文做一个大致从名称上的筛选，希望能找到些能解决当前问题的答案。 论文链接建议直接Google论文名，比去各种论文或顶会网站找不知道快捷多少。 Respect！ 论文目录 论文 概要 12-in-1 - Multi-Task Vision and Language Repre
Path-Level Network Transformation for Efficient Architecture Search翻译
nopSled
09-02 394
摘要 我们为高效神经结构搜索引入了一种新的功能保留的转换。这种网络转换可以重用以前训练好的网络和现有成功的结构，从而提高采样效率。我们旨在解决当前网络转换操作的局限性，这些操作只能执行层级体系结构修改，例如添加（修剪）滤波器或插入（删除）层，而这些操作无法更改连接路径的拓扑。我们提出的路径级转换操作使元控制器能够修改给定网络的路径拓扑，同时保留重用权重的优点，从而可以有效地设计具有复杂路径拓扑（如Inception模型）的有效结构。我们进一步提出了一种双向树结构的强化学习元控制器，以探索一个简单而又富有表现
神经网络结构搜索【ICCV 2019】.zip
11-21
神经网络结构搜索(Neural architecture search, NAS)是一种自动化设计人工神经网络的技术。由于NAS能设计出与手工设计神经网络结构相当甚至优于手工设计结构的网络，而成为近两年深度学习社区的研究热点，火爆全球。来自Google的科学家Barret Zoph，今日在ICCV2019上，做了《Neural Architecture Search and Beyond》的报告，讲述了Google在NAS方面的最新研究进展。
神经网络架构搜索
qq_36321330的博客
05-08 941
定义 Neural Architecture Search（NAS）：找到最优的神经网络结构使得其在验证集上的准确率最大化。 指定搜索空间 搜索完成后得到每一层的最优超参数值（卷积核数量、卷积核大小、步长大小） 搜索方法 Random Search（baseline） RNN+RL（2017） 思想：RNN依次预测第N层的卷积核数量、卷积核大小、步长大小。得到a_1到a_60 60个超参数 相同任务可以共用一个Embedding参数，比如a_1 -> x_1 、a_4 -> x_4 ，他
【神经网络搜索】DARTS: Differentiable Architecture Search
pprp的博客
03-02 1031
【GiantPandaCV】DARTS将离散的搜索空间松弛，从而可以用梯度的方式进行优化，从而求解神经网络搜索问题。本文首发于GiantPandaCV，未经允许，不得转载。 1. 简介 此论文之前的NAS大部分都是使用强化学习或者进化算法等在离散的搜索空间中找到最优的网络结构。而DARTS的出现，开辟了一个新的分支，将离散的搜索空间进行松弛，得到连续的搜索空间，进而可以使用梯度优化的方处理神经网络搜索问题。DARTS将NAS建模为一个两级优化问题（Bi-Level Optimization），通过使用Gra
网络结构搜索 (NAS: Network Architecture Search)
AI Flash
01-04 8608
NAS Definition 基于搜索策略，并结合约束条件 (如accuracy、latency)，在搜索空间内 (set of candidate operations or blocks)探索最优网络结构、或组件结构 (如detector的backbone、FPN)； 高效的NAS算法，通常是Trade-off between data-driven and experience-driv...
干货！基于拓扑感知的高效神经网络架构搜索
AITIME_HY的博客
05-27 645
点击蓝字关注我们AI TIME欢迎每一位AI爱好者的加入！神经网络架构搜索是机器学习自动化中的重要一环。现有的神经网络架构搜索工作基于现有网络模块进行搜索，这极大限制了可探索的网络架构并约束了网络的潜在性能。此外，由于现有搜索方法没有利用神经网络结构与模块中的拓扑信息，搜索过程非常耗时且并不能准确的找到良好和高效的架构。为了解决这些问题并充分利用神经网络架构中的拓扑信息，...
神经网络架构搜索：优化深度学习的探索之旅
huduokyou的博客
10-20 348
随着神经网络架构搜索的不断发展，我们有望构建更加智能和可靠的深度学习模型，为人工智能领域带来更多突破和进步。传统的深度学习模型设计依赖于人工经验和直觉，而NAS通过自动搜索的方式，从大量可能的网络结构中挑选出最优的结构，从而提高了模型的性能和效率。在搜索过程中，还可以加入一些优化技巧，如剪枝和参数共享，以减小搜索空间的规模。提高模型性能：通过自动搜索最优的神经网络架构，可以大大提高模型的性能。NAS的出现简化了这一过程，能够自动发现更优的结构，从而节省了人工设计的时间和精力。二、神经网络架构搜索的方法。
计算机视觉-网络架构搜索（NAS）
Jiana_Feng的博客
06-24 888
目录标题什么是NAS什么是ENAS 什么是NAS 2016年，Google发表论文NeuralArchitecture Search with Reinforcement Learning，他们使用强化学习进行神经网络结构搜索（NAS），并在图像分类和语言建模任务上超越了此前手工设计的网络。 NAS是给定模型结构 搜索空间的 搜索算法。这个搜索算法不可能通过枚举模型结构来分别训练解决，而是用一种更有效的启发式的搜索算法，这种算法就是后面会提起的贝叶斯优化、增强学习、进化算法等。 举一个例子： 我们规定模型必
FourierKAN-GCF: Fourier Kolmogorov-Arnold Network--An Effective and Efficient Feature Transformation for Graph Collaborative Filtering
04-03
FourierKAN-GCF 结合了傅里叶分析与神经网络架构的设计理念，其核心在于利用傅里叶级数分解来捕捉高维空间中的复杂模式，并将其映射到低维表示中[^2]。这种方法不仅能够有效减少计算开销，还能够在保持表达能力的...
评论 10
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值