自信，就总会有好事儿！

第1章 统计学习方法概论统计学习简述之，从数据中挖掘规律，并形式化表现这种规律并将之应用在将来的数据之中，其实现在的机器学习方法都是离不开统计学原理的，这也就是本人结合李航的《统计学习方法》来编写统计学习的相关基础算法的初衷。一些基本的概念这里不再赘述，统计学习方法包含了监督式学习、非监督式学习、半监督式学习和强化学习等。这里也先假定每个读者对这些概念已经有了一些初步的了解，如果不了解，也...

第2章 感知机感知机模型实际是最简单的模型之一，台大林轩田老师发布的《机器学习基石》教程中，称之为“知错能改验算法”，就是发现错误进行纠正，具体这个算法的过程如下。2.1感知机模型 定义: 输入空间到输出空间的函数为f(x)=sign(w⋅x+b)f(x)=sign(w⋅x+b)f(x) = sign(w\cdot x + b) 其中 sign(x)={+1,−1,...

K近邻算法本身是个很简单的算法，某些时候甚至不能称之为机器学习算法，因为它没有“学习”的过程，仅仅通过判定和要预测的xxx相近的点都呈现的表征来确定xxx的对应类标yyy就可以了，但是《统计学习方法》这本书使用了KD-tree的方法来寻找最近邻，其主要目的是在数据量比较大的时候能够优化查找效率，从原理来讲，树结构的查找的时间复杂度O(logN)O(logN)O\left( logN \right)...

第4章 朴素贝叶斯朴素贝叶斯的基本思想是： 基于特征条件独立假设学习输入和输出的联合概率分布，然后，基于此模型，对给定的输入xxx，利用贝叶斯订立求出后验概率最大的输出yyy，根据《统计学习方法》书中的规划，这里将简述朴素贝叶斯的学习和分类、朴素贝叶斯的参数估计方法。4.1 朴素贝叶斯的学习和分类4.1.1简述输入:训练数据集 T={(x1,y1),(x2,y2),(xi...

第5章 决策树顾名思义,"决策树"就是按照建立分支来进行决策的方法,即根据啥(往往是根据某个属性的某个值作为指标，比如“年龄大于20岁的”或“身高大于1米5的”)来区分不同类别的数据,也是一种监督式机器学习算法,从编程角度来看,可以看作是一系列的"if… then… else…"的集合,这个模型非常直观,也即可读性非常好,决策树的学习通常包含三个步骤:特征选择,决策树生成,决策树的剪枝.给定数...

网上看过不少关于AUC和GAUC的材料，但是都是文字描述，一点也不直观， 因此阿航萌生了使用图解的方式详细剖析一下AUC和GAUC的想法，也希望以此能帮助大家快速理解概念。其中，说到AUC就不得不提ROC曲线，因此这里阿航分三个部分来解读：ROC、AUC、GAUC。〇、ROC前身：通用的对分类模型的评价步骤1：给定样本如图A：其中绿色为正样本，红色为负样本步骤2：训练一个机器学习模型，...