29、反向传播算法在分类与预测中的应用

反向传播算法在分类与预测中的应用

1. 规则修剪与FOIL方法

在数据挖掘中，规则可能会出现过拟合的情况，即规则在训练数据上表现良好，但在后续数据上表现不佳。为了弥补这一问题，可以对规则进行修剪。规则修剪是通过移除一个合取项（属性测试）来实现的。如果规则R的修剪版本在一个独立的元组集（修剪集）上评估具有更高的质量，那么就选择修剪规则R。

FOIL使用了一种简单而有效的方法来评估规则的质量。给定规则R，其修剪评估公式为：
[FOIL Prune(R) = \frac{pos - neg}{pos + neg}]
其中，pos和neg分别是规则R覆盖的正元组和负元组的数量。这个值会随着规则R在修剪集上的准确性增加而增大。因此，如果规则R的修剪版本的FOIL Prune值更高，那么就对规则R进行修剪。按照惯例，RIPPER在考虑修剪时从最近添加的合取项开始，只要修剪能带来改进，就一次修剪一个合取项。

2. 反向传播算法概述

反向传播是一种神经网络学习算法。神经网络领域最初由心理学家和神经生物学家发起，他们试图开发和测试神经元的计算模型。简单来说，神经网络是一组相互连接的输入/输出单元，每个连接都有一个相关的权重。在学习阶段，网络通过调整权重来预测输入元组的正确类别标签。由于单元之间的连接，神经网络学习也被称为连接主义学习。

2.1 神经网络的优缺点

• 优点 ：
  • 对噪声数据具有较高的容忍度。
  • 能够对未训练过的模式进行分类。
  • 当对属性和类别之间的关系了解较少时也可以使