菜到怀疑人生的博客

文章目录论文主要工作解决的问题解决方案定义神经网络搜索空间什么是NASNet Search space固定的网络结构Cell的结构pairwise combinationNormal CellReduction Cell神经网络结构的超参数Aging evolution算法算法流程演化操作（MUTATE函数）hidden state mutationOp mutation为什么如此定义hidden...

文章目录论文主要工作定义神经网络搜索空间NASNet Search Space论文主要工作论文提出了一种使用强化学习自动搜索图像识别网络的方法，主要工作如下定义了一个名为NASNet Search Space的搜索空间，使得在小数据集上训练得到的网络架构模块（注意是模块，不是整个网络架构），可以迁移到大数据集上网络架构的构建。对Neural Architecture Search wit...

文章目录论文主要工作遗传算法简介将遗传算法用于NAS神经网络架构的基因编码方案算法的超参数初始化选择变异与交叉变异交叉评估新种群的适应度算法的流程实验及其结果论文主要工作通过遗传算法进行神经网络架构搜索，论文首先提出了一种能表示神经网络架构的编码方案，在此编码方案上初始化种群，对种群进行选择、变异、交叉，从而抛弃性能差的神经网络架构并产生新的神经网络架构，论文将训练好的架构在验证集上的准确率作...

文章目录论文工作进化算法算法过程简介基因编码变异初始化权重继承实验及其结果影响算法运行的两个超参数论文工作论文对进化算法进行了改动，使其可以用于NAS(神经网络架构搜索)，算法对于计算资源要求较高。算法一开始从没有任何卷积的最简单的模型开始进化，与之前看过的论文不同的是，神经网络架构没有固定的网络深度（意味着搜索空间进一步扩大，算法运行时间长）进化算法算法过程简介改进的进化算法主要有...

文章目录论文主要工作神经网络搜索空间定义扁平架构分层架构第一层的基础操作集搜索空间进化算法种群初始化变异操作选择随机搜索算法的超参数实验结果论文主要工作提出了一种层次化的神经网络搜索空间，并通过进化算法进行搜索，在CIFAR-10上的top-1错误率为3.6%，将发现的网络架构迁移至ImageNet后，得到的top-1准确率为20.3%，如果在定义的搜索空间中使用随机搜索，则在CIFAR-10...

文章目录主要工作Peephole网络结构为什么要使用LSTM？如何对神经网络结构进行编码？Integer codingLayer embedding个人思考训练数据从何而来？Block-based Generation搜索空间Block的结构实验Peephole的训练细节数据来源损失函数其他训练细节与其他预测方法的比较主要工作NAS中，为了加速算法的运行，有许多方法，包括surrogate-b...

文章目录主要工作搜索空间定义预测模型训练预测模型数据集准备模型训练训练结果MLP ensembleRNN与MLP的对比实验运行速度比较发现的Cell在CIFAR10与ImageNet上的表现主要工作目前来说，NAS的搜索方法包含有强化学习和进化算法，论文提出了一种新方法，利用SMBO策略，即通过不断增强网络的复杂度（深度）来探索整个搜索空间，同时利用surrogate函数（其实就是surrog...