NEURAL ARCHITECTURE SEARCH WITH REINFORCEMENT LEARNING

最新推荐文章于 2024-11-12 01:00:00 发布
原创 最新推荐文章于 2024-11-12 01:00:00 发布 · 426 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文提出了一种基于梯度的神经架构搜索（NaS）方法，利用循环网络（controller）生成网络结构的字符串，并在真实数据集上训练。通过在验证集上的准确度作为反馈，使用策略梯度更新controller，使其在后续迭代中生成更优的架构。这种方法与超参数优化、进化算法、程序综合和元学习等方法相比，具有更高的灵活性和通用性。实验中，通过引入skip connections和branching layers扩大搜索空间，并使用强化学习的REINFORCE算法进行训练，加速了控制器的学习过程。

提出背景：尽管过去几年深度神经网络在极具挑战的任务上取得成功，以及越来越多样化的feature设计和架构设计的出现，但是设计深度模型架构依然需要很强的专业知识以及大量时间。

本文：提出了基于梯度（gradient-based）NaS方法（如下图），此工作是基于对‘一个神经网络的结构和连通性可以被一串可变字符来明确定义’的认知，因此可以通过一个循环网络（即controller）来生成string，在真实数据集上训练被这一string明确规定的网络（即child network）并在验证集上产生准确度。用这一准确度作为反馈信号，我们可以计算policy gradient以更新controller。最终，在下一次迭代中，controller将使架构以更高的概率获得更好的准确度，也就是说，controller将通过迭代学会提高搜索网络的准确度。

相关工作：

1、超参数优化（Hyperparameter optimization ）应用广泛，缺陷：只能在固定长度的空间中搜索models。其中贝叶斯优化方法允许可变长度搜索，但是相较于本文缺少通用性和灵活性。

2、进化算法（Modern neuro-evolution algorithms）更灵活但是不实用，它们的局限性在于它们是基于搜索的方法，因此速度慢，或者需要许多启发式方法才能很好地工作。

3、NaS与program synthesis 以及 inductive programming有一定的相似性，都是从examples中搜索程序。在ML中，probabilistic program induction在很多应用中取得成功。

4、NaS中的controller是自动回归的，一次预测一个超参数，以先前的预测为条件。这一思想来源于decoder in end-to-end sequence to sequence learning，与之不同的是，我们

最低0.47元/天 解锁文章
Neural Architecture Search with Reinforcement Learning
AI天才研究院
08-20 832
作者：禅与计算机程序设计艺术 1.简介 近年来深度学习技术在图像分类、对象检测、语义分割等多个领域都取得了显著成果。然而，对于复杂任务而言，手动设计网络结构、调参仍然是最耗时费力的环节之一。因此，基于强化学习和贝叶斯优化的方法被提出，用于自动搜索合适的神经网络架构。这种方法不需要事先知道整个搜索空间的结
读论文：NEURAL ARCHITECTURE SEARCH WITHREINFORCEMENT LEARNING
weixin_60150713的博客
08-13 838
神经网络是强大而灵活的模型，可以很好地处理图像、语音和自然语言理解中的许多困难的学习任务。尽管取得了成功，但神经网络仍然难以设计。在本文中，我们，以最大化在验证集上生成架构的预期准确性。在 CIFAR-10 数据集上，我们的方法从头开始可以设计一种新颖的网络架构，该架构在测试集准确性方面可与最好的人类发明架构相媲美。我们的 CIFAR-10 模型的测试错误率为 3.65，比之前的使用类似架构方案的最先进模型快 0.09 个百分点，比之前最先进的模型快 1.05 倍。
Neural architecture search with reinforcement learning-Waymo 增强学习
01-22
Waymo 无人车. 神经网络 增强学习 强化学习 Neural architecture search with reinforcement learning-Google Brain
【论文解读】 Neural Architecture Search with reinforcement learning
https://github.com/Wheeeeeeeeels
03-13 2798
【论文解读】 Neural Architecture Search with reinforcement learning 论文作者：Barret Zhph*,Quoc V.Le [来自于 Google Brain] 论文标题：Neural Architecture Search with reinforcement learning/(使用强化学习进行神经网络架构搜索) 论文会议：ILCR 2...
Neural Architecture Search With Reinforcement Learning
LYKymy的博客
08-07 831
Abstract 神经网络是功能强大且灵活的模型，适用于图像，语音和自然语言理解中的许多困难学习任务。 尽管它们取得了成功，神经网络仍然难以设计。在本文中，我们使用循环网络生成神经网络的模型描述，并通过强化学习训练此RNN，以最大化验证集上生成的体系结构的预期准确性。在CIFAR-10数据集上，我们的方法从头开始，可以设计一种新颖的网络架构，可以在测试集精度方面与人类发明的最佳架构相媲美。我们的...
NEURAL ARCHITECTURE SEARCH WITH REINFORCEMENT LEARNING
weixin_37958272的博客
07-08 1039
NEURAL ARCHITECTURE SEARCH WITH REINFORCEMENT LEARNING 本文提出了一种基于梯度的神经结构搜索方法（见图1） 我们的工作是基于这样的观察：神经网络的结构和连接性通常可以由一个可变长度的字符串来指定。因此，可以使用一个递归网络（控制器）来生成这样的字符串。在真实数据上训练由字符串指定的网络——“子网络”——在验证集的准确率。使用这种准确率作为奖励信号，我们可以计算策略梯度来更新控制器。因此，在下一次迭代中，控制器将为接收高精度的体系结构提供更高的概率。换句
Neural Architecture Search with Reinforcement Learning解读
北国觅梦
09-18 478
论文:《Neural Architecture Search with Reinforcement Learning》 网站链接（开源代码）：https://github.com/tensorflow/models 1. 概述   此论文出自google Brain并发表与ICLR2017，看这篇论文主要是google Brain在cvpr2017上发表了一篇NASnet论文（论文厉害之处是自动生成CNN结构并利用迁移学习可用于大规模图像分类和物体检测，并取得目前最好的效果），NASNet论文中的核心是
【论文笔记】Neural Architecture Search with Reinforcement Learning
qq_44633016的博客
01-28 2657
本文提出一种使用RNN生成模型架构，并且使用强化学习来训练RNN，使其生成的模型在验证集上的准确率最大。
NEURAL ARCHITECTURE SEARCH WITH REINFORCEMENT LEARNING（NAS）
小白修炼记
09-03 841
NEURAL ARCHITECTURE SEARCH WITH REINFORCEMENT LEARNING（NAS） 本文讨论的主要问题是 At the moment, neural networks hard to design ,so we propose a new idea. 这个问题重要吗？为什么 At the present, Designing a good neural netw...
论文笔记系列-Neural Architecture Search With Reinforcement Learning
aiwanghuan5017的博客
07-21 332
摘要 神经网络在多个领域都取得了不错的成绩，但是神经网络的合理设计却是比较困难的。在本篇论文中，作者使用 递归网络去省城神经网络的模型描述，并且使用 增强学习训练RNN，以使得生成得到的模型在验证集上取得最大的准确率。 在 CIFAR-10数据集上，基于本文提出的方法生成的模型在测试集上得到结果优于目前人类设计的所有模型。测试集误差率为3.65%，比之前使用相似结构的最先进的模型结构还有...
NAS：Neural Architecture Search With Reinforcement Learning——使用强化学习的神经架构搜索
最新发布
Together_CZ的博客
11-12 1054
NAS：Neural Architecture Search With Reinforcement Learning——使用强化学习的神经架构搜索
论文笔记《Neural Architecture Search With Reinforcement Learning》
科研糖
04-25 923
摘要 神经网络是一种强大而灵活的模型，能够很好地解决图像、语音和自然语言理解中的许多困难学习任务。尽管成功，神经网络仍然很难设计。在本文中，我们使用一个循环网络来生成神经网络的模型描述，并通过强化学习训练该RNN，以最大限度地提高生成的架构在验证集上的预期精度。在cifar-10数据集上，我们的方法从无到可以设计出一种新的网络体系结构，在测试集精度方面可以与人类发明的最佳体系结构相媲美。我们的ci...
自学网络结构（一）：Neural Architecture Search With Reinforcement Learning
热门推荐
AI之路
11-13 1万+
论文：Neural Architecture Search With Reinforcement Learning 链接：https://arxiv.org/abs/1611.01578 代码链接：https://github.com/tensorflow/models这是ICLR2017的文章，讲述如果用强化学习（reinforcement learning）来学习一个最优的网络结构。这篇文章
NEURAL ARCHITECTURE SEARCH WITH REINFORCEMENT LEARNING 笔记
zhuiqiuk的专栏
07-08 674
这是一篇使用增强学习来进行模型搜索的论文。 结构如下图： overview 由于不知道网络的长度和结构，作者使用了一个RNN作为控制器，使用该控制器来产生一串信息，用于构建网络。之后训练该网络，并用网络的accuracy作为reward返回给控制器来更新控制器的参数，达到更优的策略。 其中控制器（RNN）的设计借鉴了sequence to sequence的思想，不同的是它优化的是一...
googlenet论文_论文笔记系列Neural Architecture Search With Reinforcement Learning
weixin_39834475的博客
11-28 253
摘要神经网络在多个领域都取得了不错的成绩，但是神经网络的合理设计却是比较困难的。在本篇论文中，作者使用 递归网络去生成神经网络的模型描述，并且使用 增强学习训练RNN，以使得生成得到的模型在验证集上取得最大的准确率。在 CIFAR-10数据集上，基于本文提出的方法生成的模型在测试集上得到结果优于目前人类设计的所有模型。测试集误差率为3.65%，比之前使用相似结构的最先进的模型结构还有低0...
Paper Reading:NEURAL ARCHITECTURE SEARCH WITH REINFORCEMENT LEARNING
yzhang的博客
08-12 239
NEURAL ARCHITECTURE SEARCH WITH REINFORCEMENT LEARNING Motivation 神经网络架构搜索的第一篇文章，将强化学习与深度学习结合。 其主要目的是使用强化学习寻找最优网络，包括一个图像分类网络的卷积部分（表示层）和RNN的一个类似于LSTM的cell。由于现在的神经网络一般采用堆叠block的方式搭建而成，这种堆叠的超参数可以通过一个序列来表示。所以，NAS会使用一个RNN构成的控制器（controller）以概率随机采样一个网络结构，接着在CIFAR
NAS：NEURAL ARCHITECTURE SEARCH WITH REINFORCEMENT LEARNING NAS开山之作
just
01-04 588
神经网络难以设计；本文使用RNN作为controller来生成神经网络模型的描述，并用强化学习来训练RNN，以最大限度地提高在验证集上模型的准确性，从而生成高性能架构；如下图1所示，RNN作为controller生成网络架构A，以此生成的网络作为基础训练子网络，在相应的数据集上进行训练，计算精度R，计算梯度并最大化R进行反向传播更新梯度，作为奖励(reward)返回给RNN，以此来迭代优化(详细内容见强化学习)；
Neural Architecture Search with Reinforcement Learning论文详解
逆熵而行
07-05 1930
这一篇可以算是神经网络架构搜索（NAS）的开篇之作，是谷歌的Zoph等人提出来的。论文采用RNN结构的Controller从搜索空间中预测生成自网络，用强化学习方法去优化controller RNN的参数。 以视觉应用的CNN模型为例，该论文的基本思想有三点： 用controller RNN去预测每一个网络层（layer）的卷积参数； 将controller RNN的输出作为强化学习中的action作用于搜索空间，设计子网络； 在训练完子网络后，将数据验证集的精度作为强化学习的reward去训练contr
NEURAL ARCHITECTURE SEARCH WITH REINFORCEMENT LEARNING翻译
nopSled
08-19 410
摘要 神经网络是强大而灵活的模型，可以很好地处理图像，语音和自然语言理解方面的许多困难学习任务。这尽管取得了很大成功，但神经网络仍然很难设计。在本文中，我们使用循环网络来生成神经网络的模型描述，并通过强化学习来训练该RNN，以在验证集上最大化所生成体系结构的期望准确率。在CIFAR-10数据集上，我们的方法从头开始，可以设计一种新颖的网络体系结构，在测试集准确率方面可以与人类发明的最佳体系结构相媲美。我们的CIFAR-10模型实现了3.65的测试错误率，比以前使用类似架构方案的最新模型提高了0.09％，并且
development of multi-agent reinforcement learning
03-30
Multi-agent reinforcement learning (MARL) is a subfield of reinforcement learning (RL) that involves multiple agents learning simultaneously in a shared environment. MARL has been studied for several decades, but recent advances in deep learning and computational power have led to significant progress in the field. The development of MARL can be divided into several key stages: 1. Early approaches: In the early days, MARL algorithms were based on game theory and heuristic methods. These approaches were limited in their ability to handle complex environments or large numbers of agents. 2. Independent Learners: The Independent Learners (IL) algorithm was proposed in the 1990s, which allowed agents to learn independently while interacting with a shared environment. This approach was successful in simple environments but often led to convergence issues in more complex scenarios. 3. Decentralized Partially Observable Markov Decision Process (Dec-POMDP): The Dec-POMDP framework was introduced to address the challenges of coordinating multiple agents in a decentralized manner. This approach models the environment as a Partially Observable Markov Decision Process (POMDP), which allows agents to reason about the beliefs and actions of other agents. 4. Deep MARL: The development of deep learning techniques, such as deep neural networks, has enabled the use of MARL in more complex environments. Deep MARL algorithms, such as Deep Q-Networks (DQN) and Deep Deterministic Policy Gradient (DDPG), have achieved state-of-the-art performance in many applications. 5. Multi-Agent Actor-Critic (MAAC): MAAC is a recent algorithm that combines the advantages of policy-based and value-based methods. MAAC uses an actor-critic architecture to learn decentralized policies and value functions for each agent, while also incorporating a centralized critic to estimate the global value function. Overall, the development of MARL has been driven by the need to address the challenges of coordinating multiple agents in complex environments. While there is still much to be learned in this field, recent advancements in deep learning and reinforcement learning have opened up new possibilities for developing more effective MARL algorithms.
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值