23、从神经网络中提取规则：基于人工免疫系统的新方法

从神经网络中提取规则：基于人工免疫系统的新方法

1. 引言

许多人工神经网络（ANN）存在一个重要缺点，即缺乏解释能力。尽管ANN已在众多应用中取得成功，但其响应的解释却模糊不清，因为其内部嵌入的知识分布在神经元的激活和连接中。ANN就像黑匣子，很难理解它是如何解决问题的，这使得神经网络捕获的知识对用户不透明，也无法由领域专家验证，在某些情况下可能会引发问题。

为解决这一问题，研究人员致力于为神经网络开发一种人类可理解的表示方式，可通过从训练好的神经网络中提取产生式规则来实现。规则提取技术主要分为三种方法：分解式、教学式和折衷式。分解式方法分析神经网络隐藏层的激活和权重；教学式方法将ANN视为黑匣子，仅通过观察输入和输出激活来提取规则，旨在提取符号规则，使输入 - 输出关系尽可能接近ANN对该关系的理解，规则数量和形式与ANN的权重数量或架构无直接对应关系；折衷式方法则利用训练好的ANN的内部架构和/或权重向量知识来补充符号学习算法。

本研究旨在开发一种使用人工免疫系统从训练好的神经网络中提取规则的新方法。

2. 相关研究回顾

在相关文献中，有多种不同的规则提取方法。Gallant提出了最早的从神经网络中提取规则的技术之一，他致力于连接主义专家系统的研究，该方法虽有助于理解神经网络，但需要可用的领域知识，且在规则提取过程中可能出现冗余规则，需要建立主观标准来选择合适的规则。

此外，还有许多其他方法，如McMillan等人提出的RuleNet，用于在数组操作领域学习符号规则并应用于自然语言处理；Towell和Shavlik展示了如何使用ANN进行规则细化的SUBSET算法；Alexander和Mozer基于连接权重开发