4、电路复杂性与前馈神经网络解析

电路复杂性与前馈神经网络解析

1. 引言

计算会消耗时间、内存、硬件和功率等资源。基于这一简单观察发展出了计算复杂性理论，其核心观点是，一些计算问题本质上比其他问题消耗更多资源。该理论旨在开发可扩展的算法，以适应不断增长的数据处理需求。

神经网络有两个重要贡献。一是具备高效计算能力，早期计算机的设计与当时人们对大脑的认知有一定类比关系，如今一些科学家认为要制造更优计算机，需从大脑获取更多灵感。二是能够从经验中学习，神经网络计算是神经网络学习的基础。

电路复杂性是计算复杂性理论的一个子领域，主要研究简单处理单元网络的高效计算。神经网络的计算能力取决于以下区别于传统冯·诺依曼式计算机的特征：
- 并行性：处理元素可并行计算。
- 大扇入：每个门的输入数量不限于两个，可随问题规模扩展。
- 节点功能：门可计算加权多数函数。

2. 前馈神经网络

神经网络研究常用的通用框架是将简单计算设备连接成有限网络，使其相互协作完成计算。具有节点函数集$\mathcal{F}$的前馈神经网络是一个 5 元组$C = (V, X, Y, E, \ell)$，其中：
- $V$是有限有序的门集合。
- $X$是有限有序的输入集合，且$X \cap V = \varnothing$。
- $Y \subseteq V \cup X$是输出集合。
- $(V \cup X, E)$是有向无环图，称为$C$的互连图。
- $\ell: V \to \mathcal{F}$确定每个门计算的函数。

常见的节点函数集如下：
|节点函数集|具体函数|定义|