NAS 多目标论文笔记

最近,想要了解一下,在 NAS 中如何进行多目标的搜索,读了一些论文,以及网上的一些论文笔记,想要做一个总结。

其中一些知识,参考了:

(1)https://blog.youkuaiyun.com/kiding_k/article/details/70147299?locationNum=13&fps=1

(2)https://zhuanlan.zhihu.com/p/119461898

(3)https://blog.youkuaiyun.com/royce_feng/article/details/80310530

 

 

Pareto 解

如果在所有的解空间中找不到其他能占优的解,那么我们称解是一个efficient solution,其在空间中对应的点,称为 non-dominated point。efficient solution其实就是一个Pareto最优解,即,不可能在使得至少一个人收益变得更好情况下而保证其他人的收益不变差。

一般而言,在多目标优化的问题里, efficient solution往往不是唯一的,那么所有effici

### 关于 Neural Architecture Search (NAS) 的研究论文 Neural Architecture Search (NAS) 是一种自动化的机器学习方法,旨在通过算法设计高效的神经网络结构。以下是关于 NAS 领域的一些重要研究工作及其贡献: #### 1. 经典综述文章 一篇重要的综述文章《A Survey on Neural Architecture Search》由 Martin Wistuba、Ambrish Rawat 和 Tejaswini Pedapati 编写[^1]。该文章全面概述了 NAS 方法的发展历程以及其在不同领域中的应用。 另一篇类似的综述文章名为《Neural Architecture Search: A survey》,它详细描述了 NAS 中的关键组成部分之一——搜索空间的设计原则[^2]。这些文章对于理解 NAS 技术的基础至关重要。 #### 2. 初始探索与开创性工作 - **Zoph et al., 2017**: 这项研究首次提出了利用强化学习来自动化寻找最优 CNN 架构的方法,并取得了超越人类专家设计的结果[^3]。 - **Real et al., 2019**: 提出了基于进化算法的 ENAS(Efficient Neural Architecture Search),显著降低了计算成本的同时保持性能优越性[^4]。 #### 3. 搜索效率改进的研究方向 为了减少传统 NAS 方法所需的大量资源消耗问题,一些后续工作中引入了新的技术手段: - DARTS (Differentiable Architecture Search): 使用连续松弛技巧使得架构参数可以被梯度下降法优化从而极大加速整个过程[^5]; - ProxylessNAS: 实现了一种无需代理模型即可完成高效硬件感知型网络构建的方式[^6]; 以上提到的各种技术和理论共同推动着 NAS 不断向前发展,在实际工业场景下也逐渐展现出巨大潜力价值。 ```python import numpy as np def nas_search_space_example(): """ This function demonstrates an example of defining a simple chain-like search space. In this case, we define layers with different operation types that can be selected during the search process. """ operations = ['conv_3x3', 'sep_conv_3x3', 'max_pool_3x3'] num_layers = 5 # Randomly select one operation per layer to simulate architecture sampling sampled_architecture = [np.random.choice(operations) for _ in range(num_layers)] return sampled_architecture print(nas_search_space_example()) ```
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值