9、交互神经网络理论：从基础到应用

交互神经网络理论：从基础到应用

1. 引言

神经网络能够从示例中学习，这一概念已通过统计物理的模型和方法得到了广泛研究。在许多研究场景中，前馈网络会在由不同网络生成的示例上进行训练。前馈网络用于对高维数据进行分类，最简单的情况下会输出单个比特（如 1/0、错误/正确、是/否）。它是自适应算法，其参数（即突触权重）会根据一组训练示例（输入/输出对）进行调整。训练完成后，网络能获取生成示例的规则知识，从而对未曾见过的输入向量进行分类，实现泛化。

在线训练

最简单的数学神经网络是感知机，它由单层 N 个突触权重 ( w = (w_1, …, w_N) ) 组成。对于给定输入向量 ( x )，输出比特为：
[ \sigma = sign\left( \sum_{i=1}^{N} w_i x_i \right) ]
感知机的决策面是 N 维输入空间中的超平面 ( w \cdot x = 0 )。感知机也可以有连续输出 ( y )：
[ y = tanh\left( \sum_{i=1}^{N} w_i x_i \right) ]
感知机可视为更复杂网络（如吸引子网络或多层网络）的基本单元。实际上，只要隐藏单元数量足够多，多层网络可以近似任何函数。感知机能够从示例（输入/输出对 ( (x(t), \sigma(t)) )，( t = 1, …, \alpha N )）中学习。在线训练意味着在每个时间步 ( t )，感知机的权重会根据新示例进行调整，例如遵循规则：
[ w(t + 1) = w(t) + \frac{\eta}{N} \sigma(t) x(t) F(\sigma(t) x(t) \cdot w(t)) ]
这里有