20、神经网络数据输入输出表示全解析

神经网络数据输入输出表示全解析

1. 神经网络技术与数据表示的重要性

过去十年，神经网络技术的受欢迎程度急剧上升。这可能是因为神经计算能为复杂的模式分类问题提供相对简单的解决方案。神经计算的方法可以用以下算法简单描述：
1. 收集数据样本。
2. 从样本中选择并准备训练集。
3. 选择合适的网络拓扑结构。
4. 训练网络，直到它显示出所需的特性。

然而，这种“黑箱”式的解决方案虽然简单，但掩盖了一些对神经计算方法成功至关重要的复杂性。其中一个关键问题是数据呈现给神经网络的方式，也就是将数据集转换为输入向量，以便向网络有意义地呈现重要信息。“垃圾进，垃圾出”这一原则在神经计算中同样适用。

数据表示这一主题在许多神经学文献中受到的关注较少，这是一个重大的疏忽。用于表示神经网络输入数据的结构，对解决任何给定问题的成功程度的贡献，与网络拓扑结构的选择一样重要。甚至可以说，数据表示比网络拓扑结构更关键，因为神经学习算法的灵活性可以适应非最优的拓扑参数选择，但如果用结构不当的数据训练网络，网络不太可能学习到与训练数据有有用关联的映射函数。同样，神经网络输出端的表示在训练过程中也起着至关重要的作用。

2. 数据复杂度与可分离性

为了说明数据表示在神经计算中的重要性，可以从模式空间划分的角度来考虑。以一个二维特征空间中分布的两个数据类为例，模式分类任务是判断一个随机向量应属于哪个类。传统的模式分类技术之一是使用决策边界进行模式空间划分，决策边界是模式空间中的超平面分区，用于分隔模式类。最简单的决策边界是线性决策边界，落在边界正侧的向量属于类 Y，落在负侧的向量属于类 X。

然而，决策边界方法的