scp_6453的博客

信息熵 信息熵，可以用来衡量一个信息的复杂程度，通俗的理解就是表示了这件事的不确定性，如果其不确定性越大，则信息熵的值也就越大，反之，则越小。 对于随机事件X，用pxp_{x}px​表示事件x发生的概率，则随机事件X的信息熵可以表示为： H(X)=−∑i=0npxlogpx{\Large H(X) = - \sum_{i=0}^{n}p_{x} logp_{x}}H(X)=−∑i=0n​px​logpx​ 用python实现信息熵： #计算信息熵,data为series对象 def getEntropy(d

《统计方法学》学习笔记 感知机模型是一种线性二分类模型，输入为实例的特征向量，输出为分类的结果（1或-1）。 模型定义： sign（）是符号函数： 损失函数： 感知机学习的目标是找到一个能够将训练集正例点和负例点完全正确分开的分离超平面。损失函数很容易想到使用分错的点数，然而 这样会导致损失函数并不是参数的连续可导函数。 因此感知机模型损失函数选择的是误分类点到超平面的总距离。 ...