qq_37994598的博客

3.3k近邻法的实现：kd树 3.3.1构造kd树， （1）构造跟节点，以训练集T中的一维度的中位点作为切分点，将超矩形区域划分为两部分， （2）重复：对深度为j的节点选择切分坐标的中位值， （3）直到子区域没有实例存在为止，从而形成kd树的划分 3.3.2搜索kd树 用kd树进行最近邻搜索 （1）从根节点出发，递归向下访问kd树，直到子节点为叶节点为止 （2）以此叶节点为当前最近点 （3）递归向...

4.1朴素贝叶斯的学习与分类 4.1.1基本方法 联合概率分布P(X,Y)，独立同步产生 先验概率分布P(Y=ck)，k=1,2,…K 条件概率分布P(X=x|Y=ck)=P(X1=x1,X2=x2,|Y=ck),k=1,2…K，（具有指数级的参数） 因此对概率分布做独立同分布假设： P(X=x|Y=ck)=P(X1=x1,X2=x2,|Y=ck)=πP(Xi=xi|Y=ck) 因此：后验概率密度...

一旦模型，策略，算法被确定下来，那么统计学习的方法也就被确定下来了。即： 方法=模型+策略+算法。 模型 简单的说，监督学习的过程中，模型就是所要学习的条件概率分布或者决策函数，即模型是基于数学来抽象实际问题，为之后的算法求解提供柴米油盐和理论基础，以便可以严谨与合理的使用由算法提供的可能的解决路径。 策略 策略应该就是用来选择最优的模型，保证逼近真解。在统计学习方法这本书上的第一章讲了经验风险...

2.1 感知机模型 感知机的定义（定义2.1）：由输入空间（特征空间）的点，到输出空间的如下函数： F(x)=sign(wx+b) 称为感知机。其中w，x为感知机模型函数，w是权值，b是偏置。 从几何意义上来理解，线性方程：wx+b ...

k近邻法实际上利用训练数据集对特征性向量空间进行划分，并作为其分类的模型。 3.1k近邻法算法 （1）根据给定的距离度量，在训练集中找出与x最邻近的k个点，涵盖k个点的x的领域记做Nk(x)； （2）在Nk(x)中根据分类决策规则（如多数表决）决定x的类别y。y=arg maxΣI(yi=ci), i=1,2...N ; j=1,2,...K 其中I为指示函数。 3.2k近邻法模型 每个实...

决策树是基于特征（非数字，如年龄，身高特征）进行分类的过程，通常包括特征选择，决策树的生成，决策树的剪修。 5.1决策树模型与学习 5.1.1决策树模型 决策树由节点（内节点（特征或者说属性）和叶节点（类））和有向边组成，是一种对实例进行分类的树形结构。 5.1.2决策树与if-then 决策树模型可以看做是if-then的合集，每条路径构建一条规则，每个实例都能随此找到对应的分类。 5.1.3决...