28、神经网络：原理、表达能力与样本复杂度

神经网络：原理、表达能力与样本复杂度

1. 神经网络概述

神经网络是一种受大脑神经网络结构启发的计算模型。在简化的大脑模型中，它由大量基本计算单元（神经元）通过复杂的通信网络相互连接而成，大脑借此能够进行高度复杂的计算。人工神经网络就是仿照这种计算范式构建的正式计算结构。

神经网络学习的概念在20世纪中叶被提出，它是一种有效的学习范式，近年来在多个学习任务中取得了前沿的性能表现。

神经网络可以用有向图来描述，图中的节点对应神经元，边对应神经元之间的连接。每个神经元接收与其输入边相连的神经元输出的加权和作为输入。这里主要关注前馈网络，即底层图不包含循环的网络。

在学习的背景下，可以定义一个由神经网络预测器组成的假设类，其中所有假设共享网络的底层图结构，但边的权重不同。所有能在时间 $T(n)$ 内实现的 $n$ 变量预测器，都可以表示为大小为 $O(T(n)^2)$ 的神经网络预测器（网络大小指节点数量）。这意味着多项式大小的神经网络假设类家族足以应对所有实际学习任务，目标是学习能够高效实现的预测器。而且，学习这类假设类的样本复杂度也与网络大小有关。然而，训练这类神经网络预测器假设类的问题在计算上是困难的。

2. 前馈神经网络

前馈神经网络由有向无环图 $G = (V, E)$ 和边的权重函数 $w: E \to \mathbb{R}$ 描述。图的节点对应神经元，每个神经元被建模为一个简单的标量函数 $\sigma: \mathbb{R} \to \mathbb{R}$。主要关注三种可能的 $\sigma$ 函数：
- 符号函数：$\sigma(a) = sign(a)$
- 阈值函数：$\sigm