_北海岸的蔚蓝-优快云博客

原创机器学习之决策树--CART

一、什么是CART决策树决策树概念：机器学习之决策树–原理分析CART(Classification And Regression Tree)，即分类与回归树。由它的名字可以发现，它分为分类树和回归树两种。分类树就是决策树传统做的事情，ID3和C4.5就是做这个事情。那CART分类树和它们的区别是什么呢？ID3和C4.5是多分支的，而CART规定每个内部节点只能是二分的。其他过程和C4.5类似，同样

2016-11-13 15:24:39 628

原创机器学习之决策树--C4.5

一、什么是C4.5决策树决策树概念：机器学习之决策树–原理分析C4.5决策树是由Ross Quinlan在ID3决策树–机器学习之决策树–ID3–基础上提出的一种改进版的决策树。C4.5主要改进了ID3中的一些问题：ID3不能做连续型数值属性的分类，C4.5改进了这个问题，可以处理连续型数值的分类ID3以信息增益为选择特征的依据，所以倾向于选择类别多的特征进行划分。C4.5选择信息增益率为特征选

2016-11-10 17:10:27 1658

原创机器学习之决策树--ID3

一、什么是ID3决策树决策树概念：机器学习之决策树–原理分析ID3决策树是由Ross Quinlan在1986年提出的一种决策树，其可以说是决策树的最早实现，之后发展的决策树系列算法都是在ID3的基础上变化发展而来。ID3主要用于对标称数据进行分类，而未涉及对数值属性的分类。ID3算法用信息熵变化产生的信息增益做为最优特征的选择依据，即每一步都选择信息增益最大的特征进行数据集划分。二、什么是信息熵？

2016-11-07 17:21:15 2797

原创机器学习之决策树--原理分析

一、什么是决策树？决策树（Decision Tree）是一种非常经典的分类器，设计出来就是用来做分类的，就算之后被开发成也可以用来做回归，但是其实也是将数值区间看成一个类别来做。因其扩展通过节点的类别情况，每个类别会导致一个结果，将这个过程用图示的方式表示，很像一棵树，所以称为决策树。二、如何构建决策树？决策树是一种监督学习算法，每个样本都有多个属性和一个类

2016-11-04 15:18:39 842

原创九大排序之归并排序--实现及注意点

归并排序是一个非常常用的排序算法，基础是对一个数组的两个已排序子数组的排序。用归并排序对n个元素的数组进行排序时，当n为2的幂时，元素比较次数在（n log n）/2到n log n - n +1之间，元素被赋值次数为2n log n。时间复杂度O（n log 2n），速度仅次于快排，比较稳定。现在分块来解释算法实现过程：一、算法思想归并排序的算法思想基于对一个数组的两个已排序子数组

2016-09-05 16:21:03 3263

原创 Spark查询Hive表时没有权限及无法找到表

用spark-submit执行python文件，进行hive表的操作时，会出现报错：java.lang.RuntimeException: java.lang.RuntimeException: The root scratch dir: /tmp/hive on HDFS should be writable. Current permissions are: rwx------

2016-08-16 10:39:49 6213

原创 Eclipse中运行MapReduce程序控制台无调试信息-log4j

在Eclipse中运行MapReduce程序，参数设置都正确的情况下，运行时控制台的输出为：log4j:WARN No appenders could be found for logger (org.apache.hadoop.metrics2.lib.MutableMetricsFactory).log4j:WARN Please initialize the log4j system

2016-07-18 14:59:44 1697

_北海岸的蔚蓝