m0_62094120的博客

机器学习最重要的任务，是根据一些已观察到的证据(例如训练样本)来对感兴趣的未知变量(例如类别标记)进行估计和推测。概率模型(probabilisticmodel)提供了一种描述框架，将学习任务归结于计算变量的概率分布。在概率模型中，利用已知变量推测未知变量的分布称为“推断”(inference)，其核心是如何基于可观测变量推测出未知变量的条件分布。具体来说，假定所关心的变量集合为Y，可观测变量集合为O，其他变量的集合为“生成式”(generative)模型考虑联合分布PYRO。

顾名思义，计算学习理论(computational learning theory)研究的是关于通过“计算”来进行“学习”的理论，即关于机器学习的理论基础，其目的是分析学习任务的困难本质，为学习算法提供理论保证，并根据分析结果指导算法设计。给定样例集D。假设X中的所有样本服从一个隐含未知的分布DD中所有样本都是独立地从这个分布上采样而得，即独立同分布(independent and identically distributed)样本令h为从X到Y的一个映射，其泛化误差为Eh;DP。

我们将属性称为“特征”(feature),对当前学习任务有用的属性称为“相关特征”(relevant feature)、没什么用的属性称为“无关特征”(irrelevant feature).从给定的特征集合中选择出相关特征子集的过程,称为“特征选择”(feature selection).特征选择是一个重要的“数据预处理”(data preprocessing)过程,在现实机器学习任务中,获得数据之后通常先进行特征选择,此后再训练学习器.

k近邻(k-Nearest Neighbor,简称kNN)学习是一种常用的监督学习方法其工作机制非常简单:给定测试样本，基于某种距离度量找出训练集中与其最靠近的k个训练样本，然后基于这k个“邻居”的信息来进行预测。通常，在分类任务中可使用“投票法”，即选择这k个样本中出现最多的类别标记作为预测结果；在回归任务中可使用“平均法”，即将这k个样本的实值输出标记的平均值作为预测结果；还可基于距离远近进行加权平均或加权投票，距离越近的样本权重越大。

在“无监督学习”(unsupervised learning)中，训练样本的标记信息是未知的，目标是通过对无标记训练样本的学习来揭示数据的内在性质及规律，为进一步的数据分析提供基础。此类学习任务中研究最多、应用最广的是“聚类”(clustering)。聚类试图将数据集中的样本划分为若干个通常是不相交的子集，每个子集称为一个“簇”(cluster)。通过这样的划分，每个簇可能对应于一些潜在的概念(类别)，如“浅色瓜”“深色瓜”，“有籽瓜”“无籽瓜”，甚至“本地瓜”“外地瓜”等；

神经网络(neural networks)方面的研究很早就已出现，今天“神经网络已是一个相当大的、多学科交叉的学科领域。各相关学科对神经网络的定义多种多样，本书采用目前使用得最广泛的一种，即“神经网络是由具有适应性的简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应”。我们在机器学习中谈论神经网络时指的是“神经网络学习”，或者说，是机器学习与神经网络这两个学科领域的交叉部分。

集成学习(ensemble learning)通过构建并结合多个学习器来完成学习任务，有时也被称为多分类器系统(multi-classifersystem)、基于委员会的学习(committee-based learning)等。图8.1显示出集成学习的一般结构:先产生一组“个体学习器”(individual learner)，再用某种策略将它们结合起来。

贝叶斯决策论(Bayesian decision theory)是概率框架下实施决策的基本方法。对分类任务来说，在所有相关概率都已知的理想情形下，贝叶斯决策论考虑如何基于这些概率和误判损失来选择最优的类别标记。下面我们以多分类任务为例来解释其基本原理。假设有N种可能的类别标记，即Yc1​c2​...cN​λij​是将一个真实标记为cj​的样本误分类为ci​所产生的损失。基于后验概率Pci​∣x可获得将样本x分类为ci​。

给定训练样本集D{(x1​y1​x2​y2​...xm​ym​)}yi​∈−11分类学习最基本的想法就是基于训练集D在样本空间中找到一个划分超平面，将不同类别的样本分开。但能将训练样本分开的划分超平面可能有很多，如图6.1所示，我们应该努力去找到哪一个呢？所以我们的想法应该是去找位于两类训练样本“正中间”的划分超平面，即图6.1中最粗的那条线。因为该划分超平面对训练样本局部扰动的“容忍”性最好。wTxb0其中ww1​;

决策树(decision tree)是一类常见的机器学习方法。以二分类任务为例，我们希望从给定训练数据集学得一个模型用以对新示例进行分类，这个把样本分类的任务，可看作对“当前样本属于正类吗？”这个问题的“决策”或“判定”过程。顾名思义，决策树是基于树结构来进行决策的，这恰是人类在面临决策问题时一种很自然的处理机制。显然，决策过程的最终结论对应了我们所希望的判定结果。一般的，一棵决策树包含一个根结点、若干个内部结点和若干个叶结点;叶结点对应于决策结果，其他每个结点则对应于一个属性测试;

给定由d个属性描述的示例xx1​;x2​;...;xd​,其中xi​是x在第i个属性上的取值,线性模型(linear model)试图学得一个通过属性的线性组合来进行预测的函数，即fxw1​x1​w2​x2​⋅⋅⋅wd​xd​b一般用向量形式写成fxwTxb其中ww1​;w2​;...;wd​w和b学得之后，模型就得以确定了。

通常我们把分类错误的样本数占样本总数的比例称为“错误率”(errorrate)，即如果在m个样本中有a个样本分类错误，则错误率Eam；相应的1−am称为“精度”(accuracy),即“精度= 1-错误率”.常写为百分比形式1−ma​×100更一般地,我们把学习器的实际预测输出与样本的真实输出之间的差异称为“误差”(error)，学习器在训练集上的误差称为“训练误差”(trainingerror)或“经验误差”(empirical error)。

机器学习正是这样一门学科，它致力于研究如何通过计算的手段，利用经验来改善系统自身的性能。在计算机系统中，“经验"通常以"数据"形式存在，因此机器学习所研究的主要内容，是关于在计算机上从数据中产生"模型” (model) 的算法，即"学习算法"。有了学习算法，我们把经验数据提供给它，它就能基于这些数据产生模型；在面对新的情况时(例如看到一个没剖开的西瓜)，模型会给我们提供相应的判断。如果说计算机科学是研究关于"算法"的学问，那么类似的，可以说机器学习是研究关于"学习算法"的学问。