PyTorch实战（11）——随机连接神经网络（RandWireNN）

0. 前言

神经架构搜索 (Neural Architecture Search, NAS) 是深度学习一个热门领域，与面向特定任务的自动机器学习 (AutoML) 领域高度契合。AutoML 通过自动化数据集加载、架构设计和模型部署，显著降低了机器学习应用门槛。不同于传统人工设计网络结构，我们将实现一种通过架构生成器自动寻找最优拓扑的新型网络——随机连接神经网络 (RandWireNN)，RandWireNN 基于自动搜索最优架构的思想，通过随机图生成算法构建网络拓扑。在本节中，我们将探索 NAS，并使用 PyTorch 实现 RandWireNN 模型。

1. RandWireNN 原理

随机连接神经网络 (RandWireNN) 首先使用随机图生成算法来生成一个具有预定义节点数量的随机图，随后将该图通过一些定义被转化为神经网络：

• 有向性 (Directed)：图限制为有向图，边的方向表示神经网络中的数据流向
• 聚合机制 (Aggregation)：每个节点的多条输入边会通过可学习的加权求和进行特征聚合
• 转换操作 (Transformation)：每个节点内部执行标准操作组合：ReLU</