1、自组织映射中输入变量重要性的信息论评估方法

自组织映射中输入变量重要性的信息论评估方法

1. 引言

在神经网络应用里，解释网络配置是关键任务。不过，因数据转换的复杂和非线性，神经网络对输入模式的响应及输出解释存在困难，人类理解程度较低。以往对输入变量重要性的考量，多在监督学习中，在无监督学习（如竞争学习和自组织映射SOM）领域的尝试较少。

我们提出一种新的信息论方法来衡量输入变量的重要性，并将其应用于竞争学习，特别是自组织映射，以此展示该方法的性能。这种方法基于信息论竞争学习，能轻松融入输入变量重要性的概念。而且，借助SOM的可视化技术，可直观呈现输入变量重要性对其他组件输出（如竞争单元）的影响。

2. 理论与计算方法

2.1 信息论方法

我们的目标是将网络组件中的信息最大化，期望浓缩后的信息更简单、易解释。具体而言，要让输入模式的信息在少数组件（如竞争单元和输入单元）中得到有效表示。

一方面，竞争单元包含的信息（即与输入模式的互信息）要尽可能大，它代表着竞争过程；另一方面，输入单元的信息含量也需增加，信息增加时，重要输入变量的数量会减少。我们要在这两种信息间找到平衡。

2.2 信息论竞争学习

竞争学习中的竞争过程可用竞争单元与输入模式的互信息来描述。以下是不同状态下竞争单元输出的情况：
- 初始状态 ：竞争单元输出对所有输入模式的响应相同，无输入模式信息。
- 中间状态 ：部分神经元开始在角落激发。
- 互信息最大化状态 ：特定输入模式下，只有一个竞争单元开启。