潘多拉星系的专栏

文章目录一、为什么采用ROC作为分类性能指标二、ROC1、roc曲线2、混淆矩阵3、绘制roc曲线三、二分类ROC曲线绘制四、多分类ROC曲线绘制参考文献一、为什么采用ROC作为分类性能指标  既然已经这么多标准，为什么还要使用ROC和AUC呢？因为ROC曲线有个很好的特性：当测试集中的正负样本的分布变换的时候，ROC曲线能够保持不变。在实际的数据集中经常会出现样本类不平衡，即正负样本比例差距...

@toc首先安装anaconda从官网上下载anaconda，我下载的是Anaconda4.3.0For Windows 64bit（内置python3.6）下载好了就安装，一直点击下一步即可。我安装到了 D：/ProgramData 目录下了。安装完后，进入D：/ProgramData/Anaconda3 文件中，可以看到如下图所示的文件列表1.检查Anaconda是否成功安装：con...

PCA目录一、前言二、降维技术三、PCA1、PCA的数学原理2、PCA算法步骤3、在numpy中实现PCA（1）零均值化（2）求协方差矩阵（3）求特征值、特征矩阵（4）保留主要的成分[即保留值比较大的前n个特征]4、选择主成分个数四、示例：利用PCA对半导体制造数据降维五、总结参考资料一、前言  我们通过电视观看体育比赛，在电视的纯平显示器上有一个球。显示器大概包含了100万像素，而球则可能是...

SVD目录一、前言二、SVD的应用1、隐性语义索引2、推荐系统三、SVD的原理1、特征值分解2、奇异值分解四、利用python实现SVD1、基于协同过滤的推荐引擎2、相似度计算方法：五、示例：餐馆菜肴推荐引擎1、推荐未尝过的菜肴2、利用SVD提高推荐的效果六、示例：基于SVD的图像压缩七、总结参考资料一、前言  奇异值分解是一个有着很明显的物理意义的一种方法，它可以将一个比较复杂的矩阵用更小更...

FP-growth算法目录一、前言1、基本概念2、 Apriori算法3、 FP-growth算法二、FP树：用于编码数据集的有效方式三、构建FP树1、构建FP树的数据结构2、构建FP树四、从一棵FP树中挖掘频繁项集1、抽取条件模式基2、创建条件FP树五、示例：在Twitter源中发现一些共现词六、示例：从新闻网站点击流中挖掘七、总结参考文献一、前言关联规则挖掘最典型的例子是购物篮分析，通过分...

K-均值目录一、前言二、K-均值聚类算法三、使用后处理来提高聚类性能四、二分K-均值算法五、示例：对地图上的点进行聚类六、总结参考资料一、前言  聚类是一种无监督的学习，它将相似的对象归到同一簇中。它有点像全自动分了。聚类方法几乎可以应用到所有对象，簇内的对象越相似，聚类的效果越好。本章要学习一种称为K-均值（K-means）聚类的算法。之所以称之为K-均值是因为它可以发现k个不同的簇，且每个...

花了差不多三天时间，终于把《机器学习实战》这本书的第三章的决策树过了一遍，对于python编程不是很熟练的我来说，进度算快了，因为好多代码都得一个一个的去查，但是总体上对代码的理解足够深刻，知道了决策树中ID3的一个具体编法和流程。#【一】计算数据信息熵这段代码主要是用于计算数据的每个特征信息熵，信息熵用于描述数据的混乱程度，信息熵越大说明数据包含的信息越多，也就是数据的波动越大。而ID3算法...

SVM目录一、利用完整Platt SMO算法加速优化（一）启发式选择方法（二）完整版SMO算法（三）python代码二、使用核函数的SVM（一）核技巧（kernel trick）（二）从非线性数据进一步解读核技巧再举个例子（三）核技巧的实现三、python代码实现1、可视化数据集2、编写核函数的代码及测试代码：四、案例：手写识别问题回顾五、利用sklearn库中的svm算法总结：参考资料：上篇文...

回归目录一、前言二、回归1、用线性回归找到最佳拟合直线2、局部加权线性回归三、示例：预测鲍鱼的年龄四、总结：参考资料一、前言  前面的章节介绍了分类，分类的目标变量是标称型数据，而本章将会对连续型的数据做出预测。本章主要学习的就是线性回归和局部加权线性回归，并配有两个示例进行实战。二、回归  回归的目的是预测数值型的目标值。最直接的办法是依据输入写出一个目标值的计算公式。假如你想要预测姐姐...

回归目录一、前言二、缩减系数来“理解”数据1、岭回归2、lasson3、前向逐步回归三、权衡偏差与方差四、示例：预测乐高玩具套装的价格1、获取数据2、建立模型五、使用Sklearn的linear_model总结参考资料一、前言  前面我们介绍了线性回归和局部加权线性回归，并配有两示例——预测鲍鱼的年龄。但是在示例中数据集是多维的，有多个数据特征。如果数据的特征比样本点多应该怎么办？是否还可以使...

一、前言第 8 章中介绍了线性回归的一些强大的方法，但这些方法创建的模型需要拟合所有的样本点（局部加权线性回归除外）。当数据拥有众多特征并且特征之间关系十分复杂时，构建全局模型的想法就显得太难了，也略显笨拙。而且，实际生活中很多问题都是非线性的，不可能使用全局线性模型来拟合任何数据。一种可行的方法是将数据集切分成很多份易建模的数据，然后利用我们的线性回归技术来建模。如果首次切分后仍然难以拟合线...

AdaBoost目录一、前言二、集成方法1、Bagging：基于数据随机重抽样的分类器构建方法2、Boosting3、二者的区别三、AdaBoost四、基于单层决策树构建弱分类器1、构造数据集，并将数据集可视化，进行观察2、构建单层决策树五、AdaBoost算法的实现六、示例：在一个难数据集上应用AdaBoost1、用自己的AdaBoost算法进行测试2、用sklearn库中的AdaBoostCl...

Apriori算法目录一、前言二、关联分析三、Apriori原理四、利用Apriori算法来发现频繁集1、Apriori算法及实例描述2、生成候选项集2、组织完整的Apriori算法五、从频繁项集中挖掘关联规则六、示例1：发现国会投票中的模式七、示例2：发现毒蘑菇的相似特征八、总结参考文献一、前言  Apriori算法是一种用于关联规则挖掘（Association rule mining）的代...

SVM目录一、什么是SVM二、将SVM转换为数学问题（一）“决策面”方程（二）“分类间隔”方程（三）SVM优化问题（四）SVM的约束条件三、求解SVM的数学问题（一）拉格朗日（二）对偶问题求解四、求解数学问题——SMO算法参考资料一、什么是SVMSVM的英文全称为（Support Vector Machines），大家都叫支持向量机。SVM一直被认为是现成可用的效果最好的分类算法之一。从线性...

一、什么是回归假设现在有一些数据点，我们用一条直线对这些点进行拟合（该线称为最佳拟合直线），这个拟合的过程就称作回归。利用Logisitc回归进行分类的主要思想是：根据现有的数据对分类边界线建立回归公式，以此进行分类。训练分类器时的做法就是寻找最佳拟合参数。也就是说，logistic回归是先寻找给定的下面这个公式中的：最佳拟合的参数，然后利用sigmoid函数进行分类。二、sigmoi...

这里写自定义目录标题《机器学习实战》之四——朴素贝叶斯一. 数学部分二. 准备数据阶段三. NB训练函数针对算法部分的改进四. NB分类函数五. 测试NB分类函数六. 使用朴素贝叶斯进行垃圾邮件过滤如何插入一段漂亮的代码片《机器学习实战》之四——朴素贝叶斯knn和决策树要求分类器对输入给出分类的结果。而『朴素贝叶斯』是给出一个最优的类别猜测结果，同时给出这个猜测的概率估计值，选择具有高概率的决...