2301_78094425的博客

DBSCAN需要两个参数，

集成学习(ensemble learning)通过来完成学习任务，有时也被称为多分类器系统(multi-classifier system)、基于委员会的学习(committee-based learning)等。图 8 .1显示出集成学习的一般结构：先产生一组“个体学习器 " (individual learner)，再用某种策略将它们结合起来。个体学习器通常由一个现有的学习算法从训练数据产生，“同质集成”；也可以包含不同类型的个体学习器，这样的集成是“异质”的。

贝叶斯决策论(Bayesian decision theory)是实施决策的基本方法。对分类任务来说,在所有相关概率都已知的理想情形下，贝叶斯决策论考虑如何基于这些概率和误判损失来选择最优的类别标记。欲使用贝叶斯判定标准来最小化决策风险，首先要求后验概率P（c|x）。.然而，在现实任务中这通常难以直接获得。从这个角度来看，机器学习所要实现的是基于有限的训练样本集尽可能准确地估计出后验概率。其中，P(c)是类“先验“（prior）概率；

线性分类器回顾：在样本空间寻找一个超平面，将不同类别的样本分开。间隔与支持向量：支持向量：距离超平面最近的几个训练样本。间隔：即距离。

因此，5.6（a）通常称为”两层神经网络“，为避免歧义，本书成为”单隐层神经网络“。值得指出的是，BP算法不仅可以用于多层前馈神经网络，还可以用于其他模型的神经网络，例如训练递归神经网络，但通常说”BP网络“时，一般是指用BP算法训练的多层前馈神经网络。M-P神经元模型：在这个模型中，神经元接收到来自n个其他神经元传递的输入信号，这些输入信号通过带权重的连接进行传递，神经元接收到的总输入值将于神经元的阈值进行比较，然后通过”激活函数“（activation function）处理以产生神经元的输出。

在决策树学习中，为了尽可能正确分类训练样本，结点划分过程将不断重复，有时会造成决策树分支过多，这是就可能因训练样本学的”太好了“，以致于把训练集自身的一些特点当作所有数据都具有的一般性质而导致过拟合。决策树的划分你过程是不断往下走的，希望每个结点尽可能的干净，极端程度上每一个叶节点上的数据是比较少的，在走到很深的树枝时，它学到的就已经不再是一般规律了，而是少数几个样本所拥有的性质。例如，我们要决策“这是好瓜吗“，通常会进行一系列的”子决策“：先看颜色、根蒂、声音的好坏来得出最终决策。

在对新样本进行分类时，将其投影到同样的这条直线上，在根据投影点的位置来确定新样本的类别。（Linear Discriminant Analysis，简称LDA）是一种经典的线性学习方法，在二分类问题上因为最早由Fisher提出，亦称为“Fisher判别分析”。上一节讨论了如何使用线性模型进行回归学习，但若要做的是分类任务：只需要找一个单调可微调函数将分类任务的真实标记y与线性回归模型的预测值联系起来。偏导：对于均方误差函数，没有极大值（误差无限大），是一个凸函数，所以极值点就是最值点。

机器学习的目标是使学得的模型能很好地适用于“新样本（unseen instance）" 而不是仅仅在训练样本上工作得很好；即便对聚类这样的无监督学习任务，我 们也希望学得的簇划分能适用于没在训练集中出现的样本。

机器学习致力于研究如何通过计算的手段，利用经验来改善系统自身的性能。在计算机系统中，“经验”通常是以“数据”的形式存在，因此，机器学习所呀牛的主要内容，是关于在计算机上从数据中产生“模型”（model）/学习器（learner）的算法，即“有了机器学习，我们就可以把经验数据提供给它，他就能基于这些数据产生模型；在面对新的情况时，模型会给我们提供相应的判断。