NAS论文笔记——Genetic CNN

最新推荐文章于 2025-03-21 21:56:05 发布
最新推荐文章于 2025-03-21 21:56:05 发布
阅读量4.4k 收藏 16
点赞数 1
分类专栏： 深度学习 NAS
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/dhaiuda/article/details/95477009
版权

文章目录

论文主要工作

通过遗传算法进行神经网络架构搜索，论文首先提出了一种能表示神经网络架构的编码方案，在此编码方案上初始化种群，对种群进行选择、变异、交叉，从而抛弃性能差的神经网络架构并产生新的神经网络架构，论文将训练好的架构在验证集上的准确率作为评判网络性能好坏的指标

本博客首先介绍论文中提到的方法，接着阐明搜索空间，最后总结论文实验结果。


遗传算法简介

传统的遗传算法往往具有下列步骤

  1. 定义个体的基因编码方案
  2. 初始化种群
  3. 衡量个体生存竞争能力的适应度（通常是一个函数，函数值表示个体的生存竞争能力）
  4. 淘汰适应度低的个体，选择适应度高的个体构成种群下一代的成员（选择）
  5. 按一定概率对下一代成员进行基因的交叉与变异（交叉与变异），产生新个体的基因编码方案
  6. 评估新种群的适应度

可以看到，遗传算法其实就是模仿生物进化的过程


将遗传算法用于NAS


神经网络架构的基因编码方案

许多常见的state-of-the-art神经网络架构都可以分为几个stage，两个stage之间通过池化操作连接，同个stage内的所有卷积操作都有相同的过滤器数目，基于上述观察，论文得出了神经网络架构的基因编码方案，具体如下：

  1. 每个神经网络架构由S个阶段构成，阶段与阶段之间通过池化操作连接
  2. 每个阶段都有Ks个节点组成，这Ks个节点其实是卷积+BN+ReLU的操作，Ks个节点编号并由小到大顺序排序
  3. 使用有向边连接一个阶段中的节点，每个节点只能连接比自己编号要大的节点，使用Vs,ks表示第s阶段的第ks个节点，其中ks=1，2，…，Ks

在每个阶段，我们使用1+2+3+…+(Ks-1)= 1 2 K s ( K s − 1 ) \frac{1}{2}K_s(K_s-1) 21​Ks​(Ks​−1)位来编码阶段内部节点之间的有向边，s阶段编码的第一位表示节点 V s , 1 V_{s,1} Vs,1​和节点 V s , 2 V_{s,2} Vs,2​之间是否有 V s , 1 V_{s,1} Vs,1​指向 V s , 2 的 边 连 接 ， 第 二 位 与 第 三 位 表 示 V_{s,2}的边连接，第二位与第三位表示 Vs,2​的边连接，第二位与第三位表示V_{s,1} 和 节 点 和节点 和节点V_{s,3} 、 、 、V_{s,2} 和 节 点 和节点 和节点V_{s,3}$之间是否有有向边连接，1表示有有向边连接，0表示没有，以此类推，有边连接表示前一节点输出的特征图会作为后一连接节点的输入，可能会有多个边指向同一个节点，此时element-wise相加，此时是一个残差结构（由于位于一个阶段内部，因此特征图的channel数一致，只需要padding即可相加），一个具体的例子如下：

在这里插入图片描述
为了让每一个编码均有效，论文在每个阶段中额外定义了两个默认节点，对于第s个阶段来说，这两个节点分别为 V s , 0 V_{s,0} Vs,0​和 V s , K s + 1 V_{s,K_s+1} Vs,Ks​+1​，分别为上图中的红色和绿色节点，红色节点接收前一节点的输出，对其进行卷积，并将输出的特征图送往所有没有前驱但是有后继的节点，而绿色节点接受所有有前驱但是没后继节点输出的特征图，对其进行element-wise相加后，输入到池化层，这两个节点不做编码，如果一个阶段的编码为0，则红色节点直接和绿色节点连接，即经过以此卷积操作后立刻进行池化操作。

上述编码方案可以编码一些知名网络架构，因此在搜索空间中，也包含知名的手工设计的网络架构，例如：
在这里插入图片描述


算法的超参数

S：阶段个数
K s K_s Ks​（s=1，2，…，S）：第s阶段的节点个数
通过定义上述参数，对应的所有编码方案就构成了神经网络架构的搜索空间


初始化

对于每个阶段的编码，通过从伯努利分布（B(0.5)）中进行采样，依据编码初始化神经网络架构，对其进行训练，将验证集上的准确率作为适应度。

但是论文发现遗传算法对不同的初始化策略并不敏感，即使所有的个体的编码都是0，遗传算法仍然能够发现有竞争力的架构。


选择

论文使用Russian roulette（具体查看轮盘赌算法）来选择下一代种群的成员，适应度为成员在验证集上的准确率，由于选择过程需要保证种群的大小与上一代一致，所以同一个成员可能被选择多次，导致下一代种群中有多个相同的网络架构，通过选择操作，可以淘汰准确率低的网络架构


变异与交叉

变异

变异操作的单位为基因编码的每一位。

每个个体发生变异的概率为 p M p_{M} pM​。如果发生变异，每一个个体的编码的每一位有 q M q_{M} qM​概率发生翻转（1变为0，0变为1）


交叉

交叉操作的单位为一个阶段的编码，如果发生交叉，那么交换的片段是一个阶段的编码。

种群中的每一对个体（由两个神经网络架构组成）发生交叉的概率是 p C p_{C} pC​。如果发生交叉，两个个体相同阶段发生交叉的概率为 q C q_{C} qC​


评估新种群的适应度

对产生的新种群中每个模型进行重新训练，对于旧模型，采用其历史准确率的平均值作为适应度，对于新模型，采用其准确率作为适应度，这么做是为了对抗训练噪声，即有些模型之所以有较高的准确率，是因为“幸运”，而不是这类模型的架构优秀


算法的流程

在这里插入图片描述

实验及其结果

该论文也是选择在小数据集上探索网络架构，在将探索到的网络架构应用于大数据集，相应的结果不在此呈现，论文通过在CIFRA10上运行算法，通过运行两次算法，得到的两个架构如下：
在这里插入图片描述

上述网络在ILSVRC2012上训练的结果如下：

在这里插入图片描述

虽然发现的网络架构不及某些手工设计的网络架构，但至少证明该算法发现的网络架构具有较好的性能

深度学习模型——GeneticCNN：使用遗传算法训练深度神经网络
AI天才研究院
08-24 723
作者：禅与计算机程序设计艺术 1.简介 随着深度学习技术的快速发展，在图像识别、图像分类等领域取得了很大的成果。近年来，卷积神经网络(Convolutional Neural Networks, CNNs)已经成为图像分类的主流技术。由于CNN的结构特点，可以对特征图进行卷积操作，从而提取出图像中的各种
机器学习论文笔记（四）：Genetic CNN（ICCV2017）
weixin_41313407的博客
05-12 3621
机器学习论文笔记（四）：Genetic CNN（ICCV2017）（开荒版） url：https://arxiv.org/pdf/1703.01513 介绍： 这篇文章讲述了如何有传统的遗传算法，生成卷积神经网络，传统的遗传算法可以帮助我们调整参数调，这里我们把网络参数化，通过遗传算法调整我们的DNA序列，然后生成不同的网络结构。好探索我们的网络结构是否可以达到像我们人工设计的网络一样具有高...
NAS论文阅读笔记（NAS）
bfluss
05-09 341
一、Neural Architecture Search With Reinforcement Learning 用一个循环网络生成模型描述，并且用强化学习训练这个RNN以在测试集上最大化生成网络的期望精度。 一个神经网络的连接和结构可以用变长的序列描述，所以可以用一个循环网络（controller）去生成这样的序列，在validation set上训练此网络，可以得到accuracy，将acc...
论文精读（5）——NSA 论文详解
ldy_lzy的博客
03-21 825
目前主流的架构都在处理大模型长上下文的建模问题，因为这会导致Transformer内存太大；前面我所总结的的论文精读：Titans曾提到其中一个方向是稀疏注意力的方法，而正巧的是NSA和MoBA都提到了这一技术
Genetic CNN
09-28
这篇文章讲述了如何用传统的遗传算法，生成卷积神经网络，这里我们把网络参数化，通过遗传算法调整我们的DNA序列，然后生成不同的网络结构。
Genetic CNN翻译
nopSled
09-16 599
摘要 深卷积神经网络（CNN）是大规模视觉识别的最新解决方案。遵循一些基本原则，例如增加网络深度和构建highway连接，研究人员手动设计了许多固定的网络结构并验证了其有效性。 　　在本文中，我们讨论了自动学习深度网络结构的可能性。请注意，可能的网络结构的数量随着网络中层数的增加而呈指数增长，这促使我们采用遗传算法来有效地探索这一庞大的搜索空间。核心思想是提出一种编码方法，用固定长度的二进制字符串表示每个网络结构。通过生成一组随机个体来初始化遗传算法。在每一次生成中，我们定义标准的遗传操作，例如选择，变异和
论文笔记：NSGA-Net: Neural Architecture Search using Multi-Objective Genetic Algorithm
flyminnnnn的博客
07-02 5463
NSGA-Net: Neural Architecture Search using Multi-Objective Genetic Algorithm 来源：paper, code, MSU, GECCO-2019, first Submitted on 8 Oct 2018 词汇： Words Meaning genetic algorithm 遗传算法 mutation...
NAS 多目标论文笔记
Vector quantity 的博客
10-08 887
最近，想要了解一下，在 NAS 中如何进行多目标的搜索，读了一些论文，以及网上的一些论文笔记，想要做一个总结。 《Efficient Multi-Objective Neural Architecture Search via Lamarckian Evolution》 为了降低计算开销，提高搜索速度，将待优化目标按搜索成本分为廉价和昂贵两类。例如FLOPS数、model size等被认为是廉价的，而validation error被认为是昂贵的。 LEMONADE在每次迭代中，首先根据基..
一文弄懂元学习 (Meta Learing)（附代码实战）《繁凡的深度学习笔记》第 15 章 元学习详解 （上）万字中文综述
繁凡さん的博客
03-21 3926
一文弄懂元学习 (Meta Learing) 超详细万字中文综述
遗传神经网络 开源 C 语言,Genetic CNN: 经典NAS算法，遗传算法的标准套用 | ICCV 2017...
weixin_42099176的博客
05-23 376
论文将标准的遗传算法应用到神经网络结构搜索中，首先对网络进行编码表示，然后进行遗传操作，整体方法十分简洁，搜索空间设计的十分简单，基本相当于只搜索节点间的连接方式，但是效果还是挺不错的，十分值得学习来源：晓飞的算法工程笔记 公众号论文: Genetic CNN Introduction为了进行神经网络架构搜索，论文将网络限制为有限的深度，每层为预设的操作，但仍然存在很多候选网络，为了有效地在巨大的...
NAS论文阅读笔记（MobileNetV3）
bfluss
05-09 474
Searching for MobileNetV3 这篇文章将search techniques和a novel architecture design结合设计了MobileNetV3-Large 和MobileNetV3-Small。 主要引进了 (1) complementary search techniques, (2) new ef- ficient versions of nonli...
Genetic-CNN-master_CNN_CNN网络_遗传算法cnn_遗传算法_
10-01
为了自动学习深度网络结构，随着网络结构的数量随网络中层数的增加而呈指数增长，这启发我们采用遗传算法来有效地遍历此较大的搜索空间。我们首先提出一种编码方法，以固定长度的二进制字符串表示每个网络结构，然后通过生成一组随机个体来初始化遗传算法。在每一代中，我们定义标准的遗传操作，例如选择，突变和交叉，以消除弱势个体，然后产生更具竞争力的个体。
CNN_Genetic_algorithm:使用GA查找最佳超参数
03-31
CNN_Genetic_algorithm:使用GA查找最佳超参数
Genetic-CNN 开源项目使用教程
gitblog_00822的博客
08-16 374
Genetic-CNN 开源项目使用教程 Genetic-CNNCNN architecture exploration using Genetic Algorithm项目地址:https://gitcode.com/gh_mirrors/ge/Genetic-CNN 1. 项目的目录结构及介绍 Genetic-CNN/ ├── data/ │ ├── MNIST/ │ └── CIFA...
开源项目常见问题解决方案：Genetic-CNN
gitblog_00780的博客
01-16 302
开源项目常见问题解决方案：Genetic-CNN Genetic-CNN CNN architecture exploration using Genetic Algorithm 项目地址: https://gitcode.com...
automl-演化算法-genetic CNN-论文笔记
xys430381_1的专栏
02-15 724
NAS论文笔记——Genetic CNN 原文中对于基因编码的示例好像有错误，而应该如下图所示： （来自：Genetic CNN）
Genetic CNN: 经典NAS算法，遗传算法的标准套用 | ICCV 2017
晓飞的算法工程笔记
04-08 1295
论文将标准的遗传算法应用到神经网络结构搜索中，首先对网络进行编码表示，然后进行遗传操作，整体方法十分简洁，搜索空间设计的十分简单，基本相当于只搜索节点间的连接方式，但是效果还是挺不错的，十分值得学习   来源：晓飞的算法工程笔记 公众号 论文: Genetic CNN 论文地址：https://arxiv.org/abs/1703.01513 Introduction   为了进行神经...
面向Mobile device的CNN模型手工设计与NAS分析总结，MobileNet V1,V2,V3，Efficient，MNasNet以及Efficient network design
是否龍磊磊真的一无所有的博客
11-13 2599
手工方法和NAS的高效网络模型设计总结与分析 这篇文章主要关注对于移动端，资源受限平台的高效神经网络设计(Manually)和搜索(NAS)。 ​​​​​​高效的CNN设计不只是用在服务器，云端，资源充足的设备上，也逐渐迁移应用到mobile devices，robotics等。这些平台具有内存有限，计算资源一定，对应用延迟敏感等特点。​最近的一些文章，已经从耗时，...
GeneticNas代码理解
weixin_42388228的博客
04-06 744
总体结构：神经网络-Cell(每个NN含有3个Cell)-DAG(每个Cell含有一个DAG)-block(每个DAG含有5个block) Individual：储存一个DAG中的5个np.asarray([input1index,input2index,op1index,op2index])组成的list和5个(input1,input2,input1index,input2index,op1,...
遗传算法NAS论文
最新发布
03-27
<think>嗯，用户想查找关于遗传算法与神经架构搜索（NAS）相关的学术论文。首先，我需要确认遗传算法（Genetic Algorithm, GA）和神经架构搜索（Neural Architecture Search）的基本概念，确保自己理解正确。遗传算法是一种基于自然选择和遗传机制的优化算法，常用于解决搜索和优化问题。而NAS则是自动化设计神经网络结构的技术，可以提升模型性能，减少人工设计的工作量。 接下来，用户需要的是将这两者结合起来的学术论文。我应该回忆一下是否有相关的经典论文或者近期研究。记得遗传算法在NAS中的应用可能包括使用GA来优化网络结构，比如通过编码网络结构作为基因，通过交叉、变异等操作生成新的结构，再通过适应度函数评估其性能。 然后，我需要考虑如何有效地搜索这些论文。常用的学术数据库有Google Scholar、IEEE Xplore、arXiv等。关键词组合可能包括“genetic algorithm neural architecture search”、“GA NAS”、“evolutionary neural architecture search”等。另外，注意用户可能需要最新的研究，所以时间范围也很重要，但用户没有特别说明，所以应涵盖经典和近期论文。 接着，我应该整理一些代表性的论文。例如，2017年Google Brain的《Neural Architecture Search with Reinforcement Learning》虽然主要用强化学习，但可能对后续结合遗传算法的研究有影响。还有2018年的《Evolving Deep Neural Networks》可能直接使用进化算法。另外，像《Genetic CNN》和《Hierarchical Representations for Efficient Architecture Search》这些论文可能相关。需要确认这些论文是否确实使用了遗传算法，避免错误引用。 同时，用户可能对如何高效查找论文的方法感兴趣，比如使用特定关键词、筛选高被引论文、关注顶级会议（如NeurIPS、ICML、CVPR）等。此外，可以推荐一些工具如Google Scholar的提醒功能，或者研究机构的出版物，比如DeepMind、Google AI等。 还要注意用户可能需要论文的获取方式，比如在arXiv上开放获取的论文，或者通过学校图书馆访问付费内容。如果用户无法访问某些论文，可以建议使用ResearchGate或者联系作者获取副本。 另外，考虑用户可能的深层需求，他们可能正在开展相关研究，需要了解当前的研究进展、方法比较（如遗传算法与其他NAS方法的优劣），或者具体应用案例。因此，除了推荐论文，还可以简要总结遗传算法在NAS中的应用趋势，比如与其他算法（如强化学习、贝叶斯优化）的结合，或者在不同任务（如图像分类、目标检测）中的表现。 最后，确保提供的论文信息准确，包括标题、作者、发表年份和来源，方便用户查找。如果有不确定的地方，需要明确说明，避免误导用户。同时，提醒用户注意论文的发表时间，以获取最新研究成果或了解领域发展历程。</think>以下是与遗传算法（Genetic Algorithm, GA）和神经架构搜索（Neural Architecture Search, NAS）相关的学术论文推荐及研究方向总结： --- ### **1. 经典论文推荐** 1. **《Evolving Deep Neural Networks》** - **作者**: Esteban Real 等 (2018) - **内容**: 提出使用进化算法（包括遗传算法）自动设计神经网络结构，在图像分类任务中验证了方法的有效性[^2]。 - **来源**: [arXiv:1711.11542](https://arxiv.org/abs/1711.11542) 2. **《Genetic CNN》** - **作者**: Lingxi Xie 等 (2017) - **内容**: 将神经网络结构编码为二进制字符串，通过遗传算法的交叉和变异操作优化结构。 - **来源**: [IEEE Conference on Computer Vision and Pattern Recognition (CVPR)](https://ieeexplore.ieee.org/document/8099725) 3. **《Hierarchical Representations for Efficient Architecture Search》** - **作者**: Hanxiao Liu 等 (2018) - **内容**: 结合遗传算法与分层表示方法，加速神经架构搜索过程。 - **来源**: [arXiv:1711.00436](https://arxiv.org/abs/1711.00436) --- ### **2. 研究方向与关键词** - **核心关键词**: - `Genetic Algorithm NAS` - `Evolutionary Neural Architecture Search` - `AutoML with Genetic Algorithms` - **热点问题**: - 如何平衡搜索空间复杂度与计算效率？ - 遗传算法与强化学习（RL）在NAS中的对比与结合[^1][^3]。 - 多目标优化（如精度、参数量、推理速度）的遗传策略设计。 --- ### **3. 高效检索方法** 1. **数据库推荐**: - **Google Scholar**: 搜索组合关键词（如 `"genetic algorithm" "neural architecture search"`），按引用量排序。 - **arXiv**: 筛选 `cs.NE`（神经网络与进化计算）和 `cs.LG`（机器学习）分类。 - **顶会论文**: 关注ICML、NeurIPS、CVPR中NAS相关Session。 2. **工具辅助**: - 使用 **Connected Papers** 工具追踪论文的引用网络。 - 关注 **AutoML** 领域研究团队（如Google Brain、DeepMind）的最新成果。 --- ### **4. 研究趋势总结** - **优势**: 遗传算法在全局搜索和多样性保持上表现突出，适合复杂搜索空间。 - **挑战**: 计算成本高，需结合代理模型（Surrogate Model）或权重复用技术优化[^3]。 - **应用场景**: 图像分类、目标检测、轻量化模型设计等。 ---
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值