lengyuyan007的专栏

近期学习机器学习，找到一本不错的教材《机器学习实战》。特此做这份学习笔记，以供日后翻阅。 机器学习算法分为有监督学习和无监督学习。这本书前两部分介绍的是有监督学习，第三部分介绍的是无监督学习（也称聚类）。有监督学习有两种功能，一种是分类（本书第一部分介绍），一种是回归预测（本书第二部分介绍）。这样就对这本书的思路有了一个总体把握。本书涉及算法包括：k-近邻算法（KNN）、决策树、朴素贝叶斯、Lo...

目录 1 算法概述 1.1 算法特点 1.2 工作原理 1.3 实例解释 2 代码实现 2.1 k-近邻简单分类的应用 2.2 在约会网站上使用k-近邻算法 2.3 手写识别系统实例 3 应用 scikit-learn 库实现k近邻算法 正文 -----------------------------------------------------------...

决策树 原理 简单来说就是： 1，先计算所有列概率，及概率log值，据此求出整体的信息熵A； 2，取出数据集中的每一列，计算剩余特征值的信息熵ai, 并计算差值，也就是信息熵增益：bi = A - ai,      除去自己这列，算的信息熵越小，信息增益越大，表示自己这列越重要； 3,  选出最重要的列，作为主要特征，作为根节点，依次比较，直到创建分类树； 4，拿测试集来测试，从根节点...