机器学习基础算法-优快云博客

本文链接：https://blog.youkuaiyun.com/Hu_Pengxue/article/details/80900574

前言及序章

本书的主要内容：原理简述+问题实例+实际代码+运行效果

机器学习：把无序的数据转换成有用的东西

数据分析与挖掘的基本技能：针对具体任务，搞懂所有相关数据的意义

如何选择合适的算法：（1）想要算法满足什么任务？（2）需要分析或收集的数据是什么？

发现最佳算法的关键环节：反复试错

开发机器学习应用程序的步骤：（1）收集数据，（2）准备输入数据（数据格式），（3）分析输入数据（缺失值、异常值、可视化展示），（4）训练算法，（5）测试算法，（6）使用算法（将其转为应用程序，执行实际任务）

Numpy函数库（有待学习）

第一部分：分类

1. k-近邻算法

优点：精度高、对异常值不敏感、无数据输入假定

缺点：计算复杂度高、空间复杂度高

适用数据范围：数值型与标称型

k近邻算法（核心）

def classifier0(inX, dataset, labels, k):
    datasetSize = dataset.shape[0]
    diffMat = tile(inX, (datasetSize, 1)) - dataset
    distance = ((diffMat**2).sum(axis=1))**0.5
    sortedDistIndicies = distance.argsort()
    classcount = {}
    for i in range(k):
        voteILabel = labels[sortedDistIndicies[i]]
        classcount[voteILabel] = classcount.get(voteILabel, 0) + 1
    sortedClassCount = sorted(classcount.items(), key=operator.itemgetter(1), reverse=True)
    return sortedClassCount[0][0]

算法中所使用的函数

tile(A,(m,n))，将数组A在行上重复m次、在列上重复n次，构成一个新的数组

numpy.argsort()，返回数组值从小到大的索引值

dict.get(key, default=None),返回指定键的值，如果值不在字典中返回默认值None

sorted(iterable[, cmp[, key[, reverse]]])

iterable可迭代对象。

cmp比较的函数，这个具有两个参数，参数的值都是从可迭代对象中取出，大于则返回1，小于则返回-1，等于则返回0。

key主要是用来进行比较的元素，只有一个参数，取自于可迭代对象中，指定可迭代对象中的一个元素来进行排序。

reverse排序规则，True降序，False升序（默认）

详细代码见链接：https://blog.youkuaiyun.com/hu_pengxue/article/details/80894279

小结：k-近邻算法是基于实例的学习，使用算法使必须有接近实际数据的训练样本数据。k-近邻必须保存全部数据，有时候会使用大量的存储空间，同时计算数据集中每个数据的距离值也非常耗时。此外，k-近邻无法给出数据的基础结构信息，无法得知平均实例样本与典型实例样本有什么特征。

2. 决策树