qq_42148307的博客

10.1kkk近邻学习给定测试样本，基于某种距离度量找出训练集中与其最靠近的kkk个训练样本，然后基于这kkk个"邻居 "的信息来进行预测。投票法：在分类任务中可使用"投票法" ，即选择这kkk个样本中出现最多的类别标记作为预测结果。平均法：在回归任务中时使用"平均法" ，即将这kkk个样本的实值输出标记平均值作为预测结果;还可基于距离远近进行加权平均或加权投票，距离越近的样本权重越大。kkk近邻学习有一个明显的不同之处：它似乎没有显式的训练过程!给定测试样本xxx, ，若其最近邻样本为zzz

7.1贝叶斯决策论假设有NNN种可能的类别标记，即 yyy= {c1,c2，…cNc_{1}, c_{2} ，… c_{N}c1​,c2​，…cN​} ，λij\lambda_{ij}λij​ 是将一个真实标记为 cjc_{j}cj​的样本误分类为cic_{i}ci​ 所产生的损失。R(ci∣x)R(c_{i}|x)R(ci​∣x)样本xxx分类为cic_{i}ci​所产生的期望损失(expected loss) ，也称风险。我们的任务是寻找一个判定准则 h:x−>yh:x->yh:x−&