一名混沌的大学生

仅是得到了训练样本在低维空间的坐标，对于新样本，将高维空间坐标作为输入，低维空间坐标作为输出，训练一个回归学习器来对新样本的低维空间坐标进行预测。利用流形在局部上与欧氏距离同胚这个性质，计算两点之间测地线距离的问题，就转变为计算近邻连接图上两点之间最短路径问题。在高维情形下出现的数据样本稀疏、距离计算困难等问题，是所有机器学习方法共同面临的困难，称为“若直接使用线性降维方法对三维空间观察到的样本进行降维，则将丢失原本的低维结构。对正交属性空间中的样本点，如何用一个超平面对所有样本进行表达？

聚类试图将数据集中的样本划分为若干个通常是不相交的子集，每个子集称为"簇"。时，“闵可夫斯基距离”是欧氏距离（Euclidean distance）,最常用的是“闵可夫斯基距离”（Minkoski distance）假设样本有类别标记，学习过程利用样本的监督信息来辅助聚类。这是一个NP问题，采用贪心策略，通过迭代优化近似求解。聚类结果与“簇内相似度”高且“簇间相似度”低。”基于原型的聚类“，通过一组原型刻画。的类别标记不同，则更新后的原型向量与。时,“闵可夫斯基距离”是曼哈顿距离。

先从初始训练集中训练出一个基学习器，再根据基学习器表现对训练样本分布调整，使先前错的样本后续得到更大关注，基于调整后的样本训练下一个基学习器，反复直到达到指定值。同质”集成“：只包含同种类型的个体学习器，同质集成中的个体学习器亦称“基学习器”，相应的学习算法称为“基学习算法”个训练样本的采样集，然后基于每个采样集训练出一个基学习器，再将这些学习器结合。异质“集成”：由不同学习算法生成，不再有基学习法，称“组件学习器”。将个体学习器称为初级学习器，用于结合的学习器称为次学习器或元学习器。

半朴素贝叶斯分类器基本想法：适当考虑一部分属性间的相互依赖信息，从而既不需要进行完全联合概率计算，又不至于彻底忽略了比较强的属性依赖关系。直接根据样本估计可能遇到困难，使用频率来估计不可行，因为“未被观测到”与“出现概率为零”通常是不同的。贝叶斯网结构有效地表达了属性间的条件独立性，给定父结点集，贝叶斯网假设每个属性与它的非后裔属性独立。先定义一个评分函数，以此来评估贝叶斯网与训练数据的契合程度，基于评分函数在寻找结构最优的贝叶斯网。,避免这种情况，在估计概率值时通常进行“平滑”，查用“拉普拉斯修正”

我们希望样本在特征空间内线性可分，因此特征空间的好坏对支持向量机的性能至关重要。

深度置信网络（deef belief network，简称DBN），每层都是一个受限Boltzmann机，整个网络可视为若干个RBM堆叠而得，使用无监督逐层训练时，首先训练第一层，这是关于训练样本的RBM模型，可按标准的RBM训练；ART（Adaptive Resonance Theory，自适应谐振网络理论）是竞争性学习代表，网络由比较层（接收输入样本）、识别层（每个神经元对应一个模式类，神经元数目可在训练过程中动态增长，增加新的模式表）、识别阈值和重置模块构成。预训练完成后，对整个网络“微调”。

一共有17个样例{1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17},各样例权值均为1。决策树是一类常见的机器学习方法，又称“判别树”，决策过程最终结论对应了我们所希望的判定结果。计算当前属性集合{色泽，根蒂，瞧声，纹理，脐部，触感}每个属性信息增益。对应属性测试，每个结点包含的样本集合根据属性测试结果划分到子结点中。(2)给定划分属性，若该属性上的值缺失，如何对样本进行划分？(1)如何在属性缺失的情况下进行划分属性选择？若我们把每个属性视为坐标空间中的一个坐标轴，则。

线性判别分析(Linear Discriminant Analysis,简称 LDA)是一种经典的线性学习方法,在二分类问题上因为最早由|Fisher,1936]提出,亦称“Fisher 判别分析”类别不平衡指分类任务中不同类别训练样例数目相差较大的情况，如998个反例，2个正例，如果全判反，编码矩阵有多种形式，常见二元码（正、反例），三元码（正，反，停用类）。维向量,例如属性“瓜类”的取值“西瓜”、“南瓜”、“黄瓜”可转化为。同等长度编码，理论上，任意两类之间编码距离越远，纠错能力越强。

eg：你是一个老师，数了学生10道题，你对他进行考核时，肯定不是考这10道题，才能体现他“举一反三”的能力。在很多情形下，根据预测结果对样例排序，排前面的“最可能”是正例的样本，排后面的“最不可能”是正例的样本。通过“测试集”来测试学习器对新样本的判别能力，然后以测试集上的“测试误差”作为“泛化误差”的近似。学习器比较时，若一个包住另一个，则可说前者优于后者，若有交叉，则分情况，比较合理的判断是比较。设前一个标记点坐标为。个反例，首先根据预测排序，然后将分类阈值设为最大，即把所有的样例均预测为反例，此时。

机器学习（Matchine-Learning）所研究的主要内容是关于在计算机上从数据中产生“模型”（model）的算法，即“学习算法”（learning algorithm）。可以说机器学习（Matchine-Learning）是研究关于“学习算法”的学问。归纳与演绎是科学推理的两大基本手段。前者是从特殊到一般的“泛化”（generalization）过程，即从具体的事实归结出一般性的规律；后者则是从一般到特殊的“特化”（speacialization）过程，即从基础原理推演出具体状况。