12、人工智能中的神经网络与决策树技术

人工智能中的神经网络与决策树技术

1. 人工神经网络

1.1 多层感知器训练优化

当训练集的均方误差（MSE）不再下降时，可以通过添加新的隐藏神经元来进一步改进网络性能。如下图所示，在特定情况下，这种操作进行了两次。

1.2 径向基函数网络（RBF）

1.2.1 原理

多层感知器中输出神经元的行为类似于线性分类器，在处理非线性可分的类别时可能表现不佳。但在神经网络中，由于隐藏层的Sigmoid函数对原始示例进行了转换，输出层神经元处理的是转换后的新“属性”，这些转换后的示例在训练过程中可能变得线性可分。

而径向基函数网络则采用另一种方式转换属性值，隐藏层神经元使用径向基函数（RBF）作为传递函数。其基本原理基于正态分布，对于给定方差 $\sigma^2$，以 $\mu_j = [\mu_{j1}, \cdots, \mu_{jn}]$ 为中心的 $n$ 维高斯曲面定义如下：
$\varphi_j(x) = \exp\left{-\frac{\sum_{i=1}^{n}(x_i - \mu_{ji})^2}{2\sigma^2}\right}$
$\varphi_j(x)$ 衡量了示例向量 $x$ 与高斯中心 $\mu_j$ 之间的相似度，两者距离越大，$\varphi_j(x)$ 的值越小。如果要对 $x$ 进行分类，网络首先将其重新描述为 $\varphi(x) = [\varphi_1(x), \cdots, \varphi_m(x)]$，第 $i$ 个输出神经元的输出