Never-guess的博客

1.决策树的构造 首先我们讨论数学上如何使用信息论划分数据集，然后编写代码将理论应用到具体的数据集上，最后编写代码构建决策树。 创建分支的伪代码函数createBranch()如下所示：检测数据集中的每个子项是否属于同一个分类： if so return 类标签； else 寻找划分数据集的最好特征 划分数据集 创建分支节点

1.贝叶斯决策理论的核心思想：选择具有最高概率的决策。 2.贝叶斯公式 3.朴素贝叶斯的两个假设： 第一，特征之间相互独立；第二，每个特征同等重要。 4.使用python进行文本分类 4.1准备数据：从文本中构建词向量#词表到向量的转换函数def loadDataSet(): positingList=[['my','dog','has,''flea','problems',

伪代码： 对未知类别属性的数据集中的每个点依次执行以下操作： (1)计算已知类别数据集中的点与当前点之间的距离； (2)按照距离递增次序排序； (3)选取与当前点距离最小的k个点; (4)确定前k个点所在类别的出现频率； (5)返回前k个点出现频率最高的类别作为当前点的预测分类。实际的python代码：def classify0(inX,dataSet,labels,k): da

1.训练算法：使用梯度上升找到最佳参数 梯度上升法的伪代码如下：每个回归系数初始化为1重复R次： 计算整个数据集的梯度 使用alpha*gradient更新回归系数的向量 返回回归系数下面的代码是梯度上升算法的具体实现。#Logistic回归梯度上升优化算法def loadDataSet(): dataMat=[];labelMat=[] fr=ope

分类器性能指标之ROC曲线、AUC值一 roc曲线1、roc曲线：接收者操作特征(receiveroperating characteristic),roc曲线上每个点反映着对同一信号刺激的感受性。横轴：负正类率(false postive rate FPR)特异度，划分实例中所有负例占所有负例的比例；(1-Specificity)纵轴：真正类率(true postive rate TPR)

在人工智能中，混淆矩阵（confusion matrix）是可视化工具，特别用于监督学习。在图像精度评价中，主要用于比较分类结果和实际测得值，可以把分类结果的精度显示在一个混淆矩阵里面。 混淆矩阵的每一列代表了预测类别，每一列的总数表示预测为该类别的数据的数目，每一行代表了数据的真实归属类别，每一行的数据总数表示该类别的数据实例的数目，每一列中的数值表示真实数据被预测为该类的数目。 如下图，第一

由于场景数据集不均匀的类别分布，给模型训练带来了困难。海康威视提出了Label Shuffling的类别平衡策略。在Class-Aware Sampling方法中，定义了2种列表，一是类别列表，一是每个类别的图像列表，对于80类的分类问题来说，就需要事先定义80个列表，很不方便。对此进行了改进，只需要原始的图像列表就可以完成同样的均匀采样任务。以图中的例子来说，步骤如下：首先对原始的图像列表，按照标

基础知识[关于决策树的基础知识参考：http://blog.youkuaiyun.com/holybin/article/details/22914417]在机器学习中，随机森林由许多的决策树组成，因为这些决策树的形成采用了随机的方法，所以叫做随机森林。随机森林中的决策树之间是没有关联的，当测试数据进入随机森林时，其实就是让每一颗决策树进行分类看看这个样本应该属于哪一类，最后取所有决策树中分类结果最多的