LordTech的博客

信息论基础写在前面至于为什么在更新《统计学习方法》的时候要插一个信息论相关的内容。主要是考虑到从下一章决策树开始，熵成了一个无法避免的讨论对象。所以就想单独拿出一章来讲一讲熵相关的内容。当然，这篇写的不及许多的生动，甚至有陈列公示之嫌，但还是希望看到的人有所收获。熵熵其实是一个随机变量不确定性的度量。或者也可以理解成是平均意义上对随机变量的编码长度。具体计算如下：H(X)=−∑x∈χp(x)log⁡p(x)H(X)=-\sum_{x \in \chi} p(x) \log p(x)H(X)=−

《统计学习方法》——朴素贝叶斯简介朴素贝叶斯法是机遇贝叶斯定理与特征条件独立假设的分类方法。对于给定的训练集，首先机遇特征条件独立假设输入输出的联合概率分布；然后根据此模型，对于给定的输入x，利用贝叶斯定理求出后验概率的最大输出的y。插一句在了解朴素贝叶斯之前，我们首先需要了解贝叶斯定理。贝叶斯定理P(Ai∣B)=P(B∣Ai)P(Ai)∑jP(B∣Ai)P(Ai)P(A_{i}|B)=\frac {P(B|A_{i})P(A_{i})}{\sum _{j}P(B|A_{i})P(A_{i})

k近邻简介k近邻法是一种基本分类与回归方法。在这里我们只讨论分类问题中的k近邻法。三要素k值的选择距离度量分类决策规则最后会引入一种k近邻的实现方法——kd树。3. 1 k近邻算法算法：输入：训练数据集T输出：实例x所属的类y根据给定的距离度量，在训练集中找到和x最近的k个点在这k个点中根据分类决策规则，决定x的类别注意：k近邻法没有显示的学习过程3.2 k近邻模型模型由上述的三要素决定。k值的选择实际上只要记住：选择较小的k值，模型变得复杂，容易出现过拟合；选

《统计学习方法》——第二章感知机写在前面最近终于有开始看《统计学习方法》了，毕竟无脑调参确实没有什么意义。一方面是作为看书的笔记，一方面作为比博客或许能起到一点参考作用吧。希望可以日更。感知机由输入空间到输出空间的函数：f(x)=sign(w⋅x+b)f(x) = sign(w\cdot x+b)f(x)=sign(w⋅x+b)称为感知机。感知机是一种线性分类模型，属于判别模型。感知机的学习策略感知机的损失函数：−1∥w∥∑xi∈Myi(w⋅xi+b)-\frac{1}{\Vert w