46、硬件感知的神经网络架构搜索

硬件感知的神经网络架构搜索

1. 进化算法基础优化循环

进化算法的基本优化循环目标是最大化种群的适应度。在选择步骤中，会筛选出表现不佳的个体。选择过程决定了子代和父代中哪些个体能够进入下一代。最简单的选择方式是挑选适应度值最高的候选个体，但这种策略效果不佳，会导致较差的优化结果。

选择是进化算法迭代的最后一步。当找到具有特定性能的个体或达到最大迭代代数时，循环停止。这个基本的进化算法描述为神经网络架构搜索（NAS）的实现提供了框架。

下面是进化算法基本优化循环的 mermaid 流程图：

graph TD;
    A[初始化种群] --> B[评估适应度];
    B --> C[选择操作];
    C --> D[交叉和变异];
    D --> E[生成子代];
    E --> F[合并父代和子代];
    F --> G[评估新种群适应度];
    G --> H{是否满足终止条件};
    H -- 是 --> I[输出最优个体];
    H -- 否 --> C;

2. 神经网络的遗传编码

2.1 序列编码

遗传编码是一系列元素或基因，每个基因编码个体的一个构建块。单个基因可以是数字、位模式或更复杂的数据结构。可以用基因序列或列表来表示描述深度神经网络（DNN）的有向无环图（DAG）。每个基因描述一个 DNN 层及其输入连接，层描述包含名称、层类型和一组与类型相关的超参数，输入连接是一个索引列表，引用遗传序列本身中的基因。