12、人工智能神经网络与决策树知识解析

人工智能神经网络与决策树知识解析

在人工智能领域，神经网络和决策树是两种重要的分类工具。下面将详细介绍人工神经网络中的径向基函数网络以及决策树的相关知识。

径向基函数网络

在多层感知机中，输出神经元的行为类似于线性分类器。当面对线性不可分的类别时，多层感知机可能表现不佳。不过，在神经网络中，由于隐藏层的Sigmoid函数对原始示例进行了转换，输出层神经元处理的是转换后的“新属性”，在训练过程中，这些转换后的示例可能变得线性可分，从而使输出层神经元能够轻松分离两类。

还有另一种转换属性值的方法，即使用径向基函数（RBF）作为隐藏层神经元的传递函数，这就是径向基函数网络，其结构如图所示。

径向基函数基于我们熟悉的正态分布。假设描述示例的属性都落在一个合理的区间，如[-1, 1]。对于给定的方差$\sigma^2$，以$\mu_j = [\mu_{j1}, \cdots, \mu_{jn}]$为中心的n维高斯曲面定义如下：
$\varphi_j(x) = \exp{-\frac{\sum_{i=1}^{n}(x_i - \mu_{ji})^2}{2\sigma^2}}$
在某种意义上，$\varphi_j(x)$衡量了示例向量$x$与高斯中心$\mu_j$之间的相似度：两者之间的距离越大，$\varphi_j(x)$的值越小。如果要对$x$进行分类，网络首先将其重新描述为$\varphi(x) = [\varphi_1(x), \cdots, \varphi_m(x)]$。第$i$个输出神经元的输出信号计算为$y_i = \sum_{j=0}^{m} w_{ji}\varphi_j(x)$，其中$w_{ji}$是从第$j$个隐藏神经元到第$i$个