Renirvana的博客

前面的文章都是关于监督式机器学习，本文开始介绍一种“无监督学习”的聚类算法。在“无监督学习”模型中，训练样本的标记信息是未知的，目标是通过对无标记训练样本的学习来揭示数据的内在性质及规律，为进一步的数据分析提供基础。此类学习任务中研究最多、应用最广的是“聚类”（clustering）。聚类聚类试图将数据集中的样本划分为若干个通常是不相交的子集，每个子集称为一个“簇”（cluster）。通过这样...

什么是决策树决策树(decision tree)，也称为判定树，是一类常见的机器学习方法。决策树是基于树结构来进行决策的，这恰是人类在面临决策问题时一种很自然的处理机制。决策过程中提出的每个判定问题都是对某个属性的“测试”。每个测试的结果或是导出最终结论，或是导出进一步的判定问题，其考虑范围是在上次决策结果的限定范围之内。一般的，一棵决策树包含一个根节点、若干个内部节点和若干个叶节点；叶节点...

在一元线性回归模型一文中提到过很多机器学习模型都是在线性回归模型的基础上创建的，本篇文章就简单的描述一下如何将线性回归应用到分类问题中——即逻辑回归。逻辑回归的基本概念线性回归针对的是连续型的数据类型，对于二分类（取值为0或1）问题当然不适用。数学推导中最常用的思想就是将未知问题转化为已知的问题来求解。现在我们的问题是如何对数据集进行分类，很自然的就会想到将其与线性回归模型联系起来。简单的数据...

本文来了解一下梯度下降算法的基本原理，不涉及复杂的数学推导。机器学习问题很大程度上来说其实就是找到一个合适的目标函数，然后不断优化参数的最优化过程，而梯度下降正是最优化过程中的重要算法 。梯度下降（Gradient Descent）是应用非常广泛的优化算法之一，其应用范围涵盖经典机器学习算法、神经网络、深度学习。机器学习问题很大程度上来说其实就是找到一个合适的目标函数，然后不断优化参数的最优化...

本文主要介绍线性回归模型，该模型主要应用于监督学习中目标变量是连续数值型的场景。一元线性回归模型线性回归模型是数据科学领域最简单的模型，很多复杂的模型 （如多项式回归、逻辑回归、SVM） 都是建立在线性回归模型的基础上的，或者是从其中能找到线性回归模型的影子。最简单的线性回归模型就是一元线性回归模型，其模型的形式就是：y=ax+b(1)y=ax+b \tag{1}y=ax+b(1)由式...

在K-NN中我们通过计算距离来判断新样本的类别，在计算距离时每个特征的计量单位不同它们的数值大小会差别很大。比如人的特征有身高和年龄，身高可以是1.7米或170厘米，年龄可以是20岁。假设有两个人的身高和年龄分别为（160，19）和（180，22），如果我们使用欧式距离公式计算样本之间的距离，则有d=(180−160)2+(22−19)2d=\sqrt{(180-160)^2+(22-19)^...

机器学习算法中的监督学习分为分类和回归两类。分类机器学习算法比较常用且易于理解。本文就从最简单的K-NN( k-Nearest Neighbor )分类算法开始，来了解机器学习模型的创建过程。K-NN算法概述K-NN也称为K-近邻算法，通过测量不同特征值之间的距离进行分类。K-NN算法的工作原理是：首先准备一个已经分类的训练数据集，这个数据集的分类结果已知；其次，对于一个没有分类的新数据，将...

当我们创建一个机器学习模型，然后通过该模型输出结果，那我们会不会直接使用这个结果呢？如果你的答案是：会使用，那你对这个结果完全认可吗？如果你的答案是否定的，那你对这个结果有哪些疑问呢？本文从模型评估的方法和性能的度量两个方面来解答以上的疑问，本篇文章主要讨论分类学习模型的评估与性能度量。模型的评估方法我们创建的机器学习模型都要通过训练数据来训练模型，为了检测学习模型是否符合我们的要求，就...