vanilla698的博客

1988年，Broomhead和Lowe用径向基函数(Radialbasis function, RBF)提出分层网络的设计方法，从而将神经网络的设计与数值分析和线性适应滤波相挂钩。RBF（Radial Basis Function，径向基函数）网络是一种单隐层前馈神经网络，即该网络只有3层，输入层、隐含层、输出层。RBF网络具有多种用途，包括函数近似法、时间序列预测、分类和系统控制。

根据上文《》我们可以知道误差公式的演化：① 第k个训练样例的误差函数：②该训练集的累积误差函数：③正则化误差目标函数：通过上面对误差公式的推演，我们可以知道，误差是关于的函数，而是关于模型实际输出的函数。在上文 《》中我们可以知道模型实际输出的表达式为：其中：所以：其中为输出层计算常量，故可以推出模型实际输出是关于连接权重和阈值的函数。根据链式法则，我们可以知道误差也是是关于连接权重和阈值的函数。此时神经网络的训练过程可以看作一个寻找最佳参数使误差E更小的过程。

由于BP神经网络的强大的表示能力，经常遭遇过拟合的问题。表现在训练误差持续降低，但是测试误差却上升。有2种策略解决：策略1：早停（early stopping）将数据分成训练集和验证集：训练集：用来计算梯度，更新连接权重和阈值验证集：用来估计误差当训练集误差降低且验证集误差升高，则停止训练。返回验证集中最小误差的连接权重和阈值。策略2：正则化（regularization）基本思想：在误差目标函数中增加一个用于描述网络复杂度的部分。例如：连接权重与阈值的平方和。

感知机(Perceptron)由2层组织，如下图所示：「输入层神经元」接收外界输入信号后，传递给「输出层神经元 」「输出层神经元」是「M-P神经元」，亦称「阈值逻辑单元（threshold logic unit）」由上面的多层神经网络的概念可知，每层神经元与下一层神经元全互联，神经元之间不存在同层连接（x2连接到x3），也不存在跨层连接（x2连接到g4）。当「隐含层」变的越来越多的时候，这样的神经网络通常被称为「多层前馈神经网络」

本书所谈的「人工神经网络」不是生物学意义的神经网络。这是T.Kohonen 1988年在Neural Networks创刊号上给出的定义。在「M-P神经元模型」中，神经元接收来自n个其他神经元传递过来的输入信号，这些信号带有不同的权重，通过链接(connection)不同的神经元进行传递。

我们将每个样本的属性作为坐标轴，则n个属性的描述值的样本就对应了n维空间中的一个数据点。对样本分类就意味着我们将在这个空间中寻找不同类样本之间的分类边界。多变量决策树，亦称「斜决策树(obliquedecision tree)」即决策树的分类边界由若干与属性轴平行的分段组成。

上文「」的学习中，我们了解了著名的3种决策树算法ID3、C4.5、CART。这3种决策树算法最根本的核心就是根据特征选择离散属性作为节点来搭建树结构，运用搭好的结构进行推理。剪枝(pruning)则就是将搭好的决策树去掉一些「非叶节点」的过程。

到目前为止，我们在决策树01、02中仅讨论了基于离散属性来生成决策树，而现实任务中常会遇到连续属性，所以在本章的学习中，我们将会讨论如何在决策树学习中使用连续属性。缺失值处理现实生活中的数据结构经常会遇到不完整的样本，即有些样本的某些属性值缺失。且样本数量越大，缺失的属性值会越多。例如医疗数据中隐私测量结果等。

本书中的「决策树」有时指学习方法，有时指学得的树。

我们在上一节介绍了「线性判别分析（LDA）」，LDA的从二分类任务可以推广到多分类任务中。而现实中常遇到的多分类学习任务。有些二分类的学习方法可以直接推广到多分类，但是更多情况下是基于一些策略，利用二分类学习器来解决多分类的问题。

上一节我们考虑了线性模型的回归学习，但是想要做分类任务就需要用到上文中的广义线性模型。当联系函数连续且充分光滑，考虑单调可微函数。多分类与二分类的线性判别分析（LDA）

给定由d个属性描述的示例x：其中每个属性的权重：其中xi是x在第i个属性上的值，线性模型试图学习一个通过属性线性作何来预测的函数，即：用向量形式写成：当w和b的参数学得之后，模型就可以确定。也叫「可理解性」

偏差-方差分解（bias-variance decomposition）」是解释学习器泛化性能的一种重要工具。「偏差」学习器期望预测与真实结果的偏离程度。「方差」同样大小训练集的变动会导致学习器性能变化的度量。「噪声」表达了在当前任务下，学习器所能达到的期望泛化误差的下界。

通过比较检验方法进行假设检验、交叉验证t检验、5✖️2交叉验证、卡方检验等方式比较学习器、模型、算法的性能。

本章主要对模型的性能指标错误率、精度（正确率）、查准率（准确率）、查全率（召回率）、F1指标、平衡点、ROC、AUC、代价敏感错误率、代价曲线、期望总体代价等做了详细的描述。

训练过程中，努力使「经验误差（训练误差）」最小。