kelvinLLL的博客

算法原理：决策树算法是一种逼近离散函数值的方法。它是一种典型的分类方法，首先对数据进行处理，利用归纳算法生成可读的规则和决策树，然后使用决策对新数据进行分析。本质上决策树是通过一系列规则对数据进行分类的过程。用下面一张图片就可以很直观的知道决策树是如何分类的：对于离散的属性值，根据每个属性下的类别分出叶节点，直到所有的叶节点里都是相同类型的数据类别构建思路：创建分支

邻近算法，或者说K最近邻(kNN，k-NearestNeighbor)分类算法是数据挖掘分类技术中最简单的方法之一。所谓K最近邻，就是k个最近的邻居的意思，说的是每个样本都可以用它最接近的k个邻居来代表。算法思想kNN算法的核心思想是如果一个样本在特征空间中的k个最相邻的样本中的大多数属于某一个类别，则该样本也属于这个类别，并具有这个类别上样本的特性。该方法在确定分类决策上只依据最

任务：通过海伦收集的3个特征，如：           1.每年获得的飞行常客里程数   2.玩视频游戏所耗的时间百分比   3.每周消费的冰淇淋公升数用K近邻的方法，预测海伦对未知对象的好感度主要步骤都是按照机器学习实战这本书进行的，代码实现如下：#!/usr/bin/python# -*- encoding:utf-8 -*-"""@author : kelvi

使用K-近邻分类器构造手写识别系统，手写数字图片已经经过处理成为文本文件，如下所示：每张图片都是32像素X32像素首先，我们要把每个输入的文本文件转换KNN算法（前面的KNN算法实践已经有了，这里就不贴了）可以处理的格式，即一维数组的形式，定义以下函数：def img2vector(filename): """ 将32x32的图像转化为1x1024的向量