励志的小胡子

一、线性回归（Linear Regression） 线性回归一般用来做预测，预测数值型的目标值，基本思想是有一个目标值的公式，然后依据数据，得到预测的目标值。 例如： 其中，称作回归系数，是输入特征，y为目标预测值。 我们的目标是找到合适的回归系数，求出回归方程。假定输入数据存放在矩阵x中，回归系数存放在向量w中。对于给定的数据，预测结果将会通过给出。我们的目的就是找出合适的w。最常用的方...

简介 k-近邻算法就是采用测量不同特征值之间的距离方法进行分类。 工作原理： 存在一个样本数据集合，就是训练样本集，并且每个数据都有标签。即每一个数据与所属分类的对应关系。所以KNN是一个监督式学习。然后，输入没有标签的数据，将新数据的每个特征与训练样本集中数据对应的特征进行比较，最后算法提取训练样本集中特征最相似数据的分类标签。通常情况下，我们选择前k个最相似的数据，而选择k个最相似数据中...

一、介绍        决策树算法可以读取数据集合，构建决策树。决策树很多任务都是为了数据中所蕴涵的信息，因此决策树可以使一个不熟悉的数据集合，并从中提取出一系列规则。机器学习算法将使用这些规则。                                                            例如这个例子，邮件分类的决策树。长方形表示判断，椭圆形代表终止。首先判断邮件的...

一、基于条件概率的分类 1.基于贝叶斯决策理论的分类方法 在机器学习中，概率论也是一个总要的基础知识，下面我们就学习一些使用概率论进行分类的方法。叫朴素贝叶斯分类器。之所以称之为朴素，是因为整个形式化的过程只做最原始、最简单的假设。从最简单的概率开始说起，假设我们有两类数据，p1(x,y)表示我们的数据点（x,y）属于类别1的概率，p2(x,y)表示数据点（x,y）属于类别2的概率。对于一个新...