30、神经网络架构与关键概念解析

神经网络架构与关键概念解析

1. 神经网络图表示

在构建神经网络架构时，我们通常用图来表示神经网络。图由节点（也称为顶点或元素，通常用圆圈表示）和连接节点的箭头（称为边，也叫弧、线等）组成。在神经网络中，节点一般代表神经元，信息沿着边从一个节点流向其他节点，且每条边上信息仅沿一个方向流动，这种图被称为有向图。

1.1 有向无环图（DAG）

神经网络中常见的规则是不存在循环，即数据从一个节点输出后，无论经过多么迂回的路径，都不会再回到该节点。这种图的正式名称是有向无环图（DAG）。有向意味着边有箭头（有时箭头可能是隐含的），无环表示没有循环或回路。DAG 在机器学习等许多领域都很受欢迎，因为它比有循环的任意图更容易理解、分析和设计。有循环的图可能会引入反馈问题，就像将麦克风靠近扬声器时会产生失控的反馈一样，而 DAG 的无环性质自然避免了这个复杂问题。

1.2 图的解读与约定

解读神经网络图时，我们通常想象信息沿着边从一个节点流向另一个节点。不过，这里的数据流动不同于水管中水流的连续过程，神经网络图和它所代表的神经网络是离散的，信息像短信一样一次一个块地到达。另外，我们常说一个靠近输入的节点在靠近输出的节点“之前”或“之下”，“之下”可理解为“更接近输入”，“之上”可理解为“更接近输出”。如果数据从节点 A 流向节点 B，那么节点 A 是节点 B 的祖先或父节点，节点 B 是节点 A 的后代或子节点。

1.3 加权图

我们可以在每条边上放置一个权重来绘制神经网络，这种网络被称为加权图。虽然在图中很少明确画出权重，但每条边都有一个唯一的权重，当一个值沿着边从一个神经元传递到另一个神经元时，该值