22、神经网络数据输入输出的编码方案解析

神经网络数据输入输出的编码方案解析

在神经网络中，数据的输入输出表示方式至关重要，不同的编码方案会对网络的性能和效果产生显著影响。接下来，我们将详细探讨各种编码方案。

1. 编码方案的分类

在向神经网络呈现数据时，编码方案可分为局部和分布式两种，同时还有离散和连续的表示形式。

1.1 局部表示方案

局部表示是将特征空间划分为固定数量的区间或类别，每个类别由单个节点（或一组节点）表示。例如，对可见光谱中的颜色进行分类的神经网络，使用七个节点的输入，每个节点分配一种颜色。
- 特点 ：
- 每个节点有独特的解释，且不重叠。
- 通常使用二进制（或双极性）激活水平。
- 可使用连续值节点并引入模糊或概率表示的概念。
- 一般以一对多模式运行，但也可通过同时激活相关节点来表示两个或多个特征的存在。
- 优缺点 ：
|优点|缺点|
| ---- | ---- |
|是一种简单的表示方案，允许直接查看变量。|扩展性不佳，每个输入特征都需要一个节点。|
|可通过同时激活单元在任何时间表示多个概念。|为编码新特征必须添加新节点。|
|如果使用连续值单元，则可以实现概率表示。|对节点故障敏感，不如分布式方案健壮。|

1.2 分布式表示方案

分布式表示是通过大量单元上的活动模式来表示一个概念或特征。这些单元并非特定于任何单个特征，但每个单元都对许多特征的表示做出贡献。例如，用三个节点表示原色（红、蓝、绿），并通过原色的组合来描述完整的光谱。