47、硬件感知的神经网络架构搜索：从基础到实践

硬件感知的神经网络架构搜索：从基础到实践

1. 适应度与选择算法

在神经网络架构搜索（NAS）中，适应度是一个关键概念。适应度衡量了个体（神经网络架构）在目标函数上的表现。目标函数 (f_i) 及其对应的权重 (w_i) 共同构成了适应度衡量指标 (f_m)，权重被归一化使得总和为 1，同时目标函数也在区间 ([l_i, u_i]) 内被归一化。

确定合适的区间 ([l_i, u_i]) 并非易事，因为它决定了目标对适应度的影响。动态区间由当前个体集合的最大值和最小值确定，虽然能较好地用于当前集合内个体的评估，但无法用于比较不同集合间个体的适应度。固定区间则允许不同集合间个体的全局比较，但可能会引入类似权重的偏差。

由于所有目标 (f_i) 都是最小化问题，(f_m) 也是最小化问题，这与常规将适应度视为最大化属性的概念相悖，因此 (f_m) 被称为适应度衡量指标。

优化问题可以通过引入约束来扩展。硬约束设定了一个界限，超过该界限的个体被视为不可行，其适应度取最差值。软约束也设定了一个界限，超过该界限的个体将受到惩罚，惩罚可以是与软约束界限的距离。若目标值低于界限，则所有值被视为同等良好，适应度相同，这有助于防止对某些目标的过度优化。

基于适应度可以实现一个简单的选择算法：
1. 个体根据目标函数进行评估。
2. 计算个体的适应度衡量指标 (f_m)。
3. 选择适应度衡量指标最低的一定数量个体作为父代。

然而，这种简单的选择算法往往效果不佳，因为它会导致模型多样性的崩溃。只选择和修改最优个体，个体很快会在早期围绕单一的“冠军”深度神经网络（DNN）聚集，种群大多由非常相似的个体组成，缺乏推