comli_cn的博客

问题：有一组训练数据集T{(x1​y1​x2​y2​xN​yN​)}其中xi​∈XRnyi​∈Y1−1i12N，求一个超平面S使其能够完全将yi​1和yi​−1的点分开。

0. 问题引入以上是李航的《统计学习方法》中对AdaBoost算法的描述，虽然后文中也对这里的式子进行了注释，但还不是很明朗，下面是我自己的解读。1. 几个式子的解释这里的m代表第m个分类器，第m个分类器的分类误差率为分类错误的样本个数乘以一个系数wmiw_{mi}wmi​。m=1时这个系数是1/N，之后会按照下面的公式不断变化：这个式子中的关键是αm\alpha_mαm​：由上式可知：当eme_mem​小于等于1/2时，αm\alpha_mαm​大于等于0,当eme_mem​大于1/2

1.从贝叶斯公式说起贝叶斯公式又称逆概率公式，定义为：这个公式的目的是求在B已经发生的情况下反推导致这种情况的AjA_jAj​出现的概率，求这个概率的前提是P(Ai)P(A_i)P(Ai​)和P(B∣Ai)P(B|A_i)P(B∣Ai​)能直接求出。在这个式子里面P(Ai)P(A_i)P(Ai​)被称为先验概率，因为它是事先知道的，P(B∣Ai)P(B|A_i)P(B∣Ai​)为条件概率，P(Aj∣B)P(A_j|B)P(Aj​∣B)是后验概率，因为是B发生之后求P(Aj)P(A_j)P(Aj​)的概

构造kd树在这里《统计学习方法》用到了平衡kd树，在学习平衡kd树之前可以先学习一下比较简单的平衡二叉树。这里我们直接按照《统计学习方法》中构造kd树的步骤来写代码：class Node:"""构造节点类，节点包括当前节点data，当前节点的深度depth，当前节点的左右子节点left和right""" def __init__(self, data, depth=0, left=None, right=None): self.data = data se.

算法描述给定一个训练数据集，对新的输入实例，在训练数据集中找到与该实例最邻近的k个实例，这k个实例的多数属于某个类，就把该输入实例分为这个类。三个基本要素1.距离度量两个实例之间的距离可以用LpL_pLp​范数来定义，其中p可以选择。LPL_PLP​范数的定义为：这里面的xix_ixi​和xjx_jxj​代表两个实例，这两个实例都有n个分量。比较常用的是p=2，此时称为欧氏距离，即：例如xi=(1,2,3)x_i=(1,2,3)xi​=(1,2,3)，xj=(4,5,6)x_j=(4,5,

一、感知机原理简单来说就是给定一组数据集（以二维为例），在二维平面上求出一根直线将标记好的数据集分为两类，直线一边为一类，另一边为另一类。例如给定一个数据集：其中：此时假设分类直线的函数为：如果分类正确，那么对于所有y=1的实例i，有：对于所有y=-1的实例i，有：那么误分类就是：这个数据集中某个实例到分类超平面的距离为：误分类点到分类超平面的总距离为：故感知...

至于为什么可以去掉书中也没说，我推测可以在求梯度之前对训练数据标准化，使其均值为0，这样的话xix_ixi​的均值就是0了，可以直接去掉，同时也会使得计算简便。...

1损失函数和风险函数监督学习问题是在假设空间F\mathit{F}F中选取模型fff作为决策函数，对于给定的输入XXX，由f(X)f(X)f(X)给出相应的输出YYY,这个输出的预测值f(X)f(X)f(X)与真实值YYY可能一样也可能不一样，用损失函数(loss function)来度量预测错误的程度。损失函数是f(X)f(X)f(X)和YYY的非负实值函数，记作L(Y,f(X))L(Y,f(...