Final Fantasy

参考文献：机器学习与数据挖掘参考文献支持向量机是一种二类分类模型。它的基本模型是定义在特征空间上的间隔最大的线性分类器。支持向量机还包括核技巧，这使它成为实质上的非线性分类器。支持向量机的学习策略是间隔最大化，可形式化为一个求解凸二次规划的问题，也等价于正则化的合页损失函数的最小化问题。支持向量机的学习算法是求解凸二次规划的最优化算法。支持向量机学习方法包含构建由简至繁的模型：

参考文献：机器学习与数据挖掘参考文献k近邻法是一种基本分类与回归方法。k近邻算法简单、直观：给定一个训练数据集，对新的输入实例，在训练数据集中找到与该实例最近邻的k个实例，这k个实例的多数属于某个类，就把该输入实例分为这个类。k近邻法的特殊情况是k=1的情形，称为最近邻算法。对于输入的实例点（特征向量）x，最近邻法将训练数据集中与x最邻近点的类作为x的类。k近邻法没有显式的学习

参考文献：机器学习与数据挖掘参考文献监督学习的任务是学习一个模型，应用这一模型，对给定的输入预测相应的输出，这个模型的一般形式为决策函数：Y=f(X)或者条件概率分布：P(Y|X)监督学习方法分为生成方法和判别方法。所学到的模型分别称为生成模型和判别模型。一、生成方法和判别方法生成方法由数据学习联合概率分布P(X,Y)，然后求出条件概率分布P(Y|X)作出预测的模型，即生成模型：P(Y|X)=P(X,Y)/P(X)这样的方法之所以称为生成方法，是因为模型表示了给定输入X产生输出Y的生成

《统计学习方法》 李航《机器学习》 周志华

朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法。对分类任务来说，在所有相关概率都已知的理想情形下，贝叶斯决策论考虑如何基于这些概率损失来选择最优的类别标记。即对每个样本x，它选择能使后验概率P(c|x)最大的类别标记：其中h*(x)是贝叶斯最优分类器，c是有N种可能类别标记的类别空间Y=(c1,c2,...,cN)的一个类别。基于贝叶斯定理，P(c|x)可写为：

参考文献：机器学习与数据挖掘参考文献图1 分类结果混淆矩阵很多学习器是为测试样本产生一个实值或概率预测，然后将这个预测值与一个分类阈值进行比较，若大于阈值则分为正类，否则为反类。例如，神经网络在一般情形下是对每个测试样本预测出宇哥[0.0， 1.0]之间的实值，然后将这个值与0.5进行比较，大于0.5则判为正例，否则为反例。这个实值或概率预测结果的好坏，直接决定了学习器

参考文献：机器学习与数据挖掘参考文献分类决策树模型是一种描述对实例进行分类的树形结构。决策树由结点和有向边组成。结点有两种类型：内部结点和叶结点。内部结点表示一个特征或属性，叶结点表示一个类。决策树学习通常包括3个步骤：特征选择、决策树的生成和决策树的修剪。决策树学习用损失函数表示这一目标。决策树学习的损失函数通常是正则化的极大似然函数。决策树学习的策略是以损失函数为目标函数的

参考文献：机器学习与数据挖掘参考文献一、二项逻辑斯谛回归模型二项逻辑斯谛回归模型是如下的条件概率分布：这里，x∈Rn是输入，Y∈{0,1}是输出，w∈Rn和b∈R是参数，w称为权值向量，b称为偏置，w·x为w和x的内积。有时为了方便，将权值向量和输入向量加以扩充，仍记作w，x，即w=(w(1),w(2),...,w(n),b)T，x=(x(1),x(2),.