BlueLoveyyt的专栏

转自：http://blog.youkuaiyun.com/jmydream/article/details/8644004 感谢作者！一、算法概述1、kNN算法又称为k近邻分类(k-nearest neighbor classification)算法。最简单平凡的分类器也许是那种死记硬背式的分类器，记住所有的训练数据，对于新的数据则直接和训练数据匹配，如果存在相同属性的训练数据，则直

转自：http://blog.chinaunix.net/uid-21633169-id-4408596.html 感谢作者先决条件在阅读这个教程之前，你多少需要知道点python。如果你想重新回忆下，请看看Python Tutorial.如果你想要运行教程中的示例，你至少需要在你的电脑上安装了以下一些软件:PythonNumPy

转自：百度百科ID3算法是一种贪心算法，用来构造决策树。ID3算法起源于概念学习系统（CLS），以信息熵的下降速度为选取测试属性的标准，即在每个节点选取还尚未被用来划分的具有最高信息增益的属性作为划分标准，然后继续这个过程，直到生成的决策树能完美分类训练样例。1背景知识ID3算法最早是由罗斯昆（J. Ross Quinlan）于1975年在悉尼大学提出的一种分类预测算法，算

决策树的优点相对于其他数据挖掘算法，决策树在以下几个方面拥有优势：决策树易于理解和实现. 人们在通过解释后都有能力去理解决策树所表达的意义。对于决策树，数据的准备往往是简单或者是不必要的 . 其他的技术往往要求先把数据一般化，比如去掉多余的或者空白的属性。能够同时处理数据型和常规型属性。 其他的技术往往要求数据属性的单一。是一个白盒模型如果给定一个观察的模型，那么根据所产生的决策树