havefun00的博客

马尔科夫模型（hidden Markov model，HMM）是关于时序的概率模型，描述由一个隐藏的马尔科夫随机生成不可观测的状态随机序列，再由各个状态生成一个观测从而产生观测随机序列的过程，属于一个生成模型。本篇文章从隐马尔可夫模型的三个问题出发，从理论推导到编码实践来解读不一样的HMM。

机器学习之关联分析与频繁项集1、关联分析与频繁项集介绍2、

机器学习之K-Means聚类模型1、K-Means介绍2、K-Means数学原理3、算法及Python实现4、小结1、K-Means介绍聚类是一种无监督学习，它将相似的对象归到同一个簇中。K-均值聚类算法可以发现k个不同的簇，且每个簇的中心采用簇中所含值的均值计算而成。下图为一个k=4的K-Means算法聚类的结果。 2、K-Means数学原理寻找最近重心 对每...

机器学习之树回归1、分类树回归模型介绍2、模型数学原理3、算法及python实现4、小结1、分类回归树模型介绍前面介绍了使用ID3算法进行决策树分类的模型，ID3算法的做法是每次选取当前最佳的特征来分割数据，并按照该特征的所有可能取值来切分，一旦按某种特征切分之后，该特征在之后的算法执行过程中将不再起作用，所以可以感觉到这种切分方法过于迅速，此外，ID3算法还存在一个问题...

机器学习之EM算法1、EM算法介绍2、EM算法数学原理3、算法及Python实现4、小结1、EM算法介绍EM算法引入： 首先使用经典的三硬币模型引入EM算法。 三硬币模型 有A，B，C三枚硬币，单次投掷出现正面的概率分别为π、p、q。利用这三枚硬币进行如下实验： 1、先投掷A，若出现正面则投掷B，否则投掷C 2、记...

提升方法之AdaBoost算法1、提升方法介绍2、AdaBoost算法及数学原理3、Python代码实现4、小结1、提升方法介绍对于分类问题而言，给定一个训练样本集，求比较粗糙的分类规则（弱分类器）要比求精确的分类规则（强分类器）容易得多，提升方法就是从弱学习算法出发，反复学习，得到一系列弱分类器（又称为基本分类器），然后组合这些弱分类器，构成一个强分类器，大多数的提升方...

机器学习之支持向量机模型1、支持向量机模型介绍2、支持向量机数学原理3、算法及Python4、小结1、支持向量机模型介绍支持向量机（SVM）是一种二类分类模型。它的基本模型是定义在特征空间上的间隔最大的线性分类器，间隔最大使它有别于感知机；支持向量机还包括核技巧，这使它成为实质上的非线性分类器。支持向量机的学习策略就是间隔最大化，可形式化为一个求解凸二次规划的问题，支...

机器学习之朴素贝叶斯模型1、朴素贝叶斯模型介绍2、朴素贝叶斯数学原理3、算法及Python实现4、小结1、朴素贝叶斯模型介绍朴素贝叶斯（naive Bayes）法是基于贝叶斯定理与特征条件独立假设的分类方法，对于给定的训练数据集，首先基于特征条件独立假设学习输入/输出的联合概率分布；然后基于此模型，对给定的输入x，利用贝叶斯定理求出后验概率最大的输出y。2、朴素贝...

机器学习之逻辑回归模型1、逻辑回归模型介绍2、逻辑回归数学原理3、算法及Python实现4、小结1、逻辑回归模型介绍这里主要介绍二项逻辑回归模型，逻辑回归是一种分类模型，由条件概率分布P(Y|X)表示，形式为参数化的逻辑斯提分布。这里，随机变量X取值为实数，随机变量Y取值为1或0，通过监督学习的方法来估计模型参数。2、逻辑回归数学原理Logistic回归虽...

机器学习之决策树1、决策树模型介绍2、决策树数学原理3、算法及Python实现4、小结1、决策树模型介绍定义：（决策树） 分类决策树模型是一种描述对实例进行分类的树形结构，决策树由结点（node）和有向边（directed edge）组成。结点有两种类型：内部结点（internal node）和叶结点（leaf node）。内部结点表示一个特征或属性，叶结点表示一个类。用...

机器学习之KNN本文主要介绍K近邻（KNN）模型，KNN在机器学习中是很常见的：1、KNN模型介绍2、KNN数学原理3、算法及Python实现4、小结1、KNN模型介绍k近邻法（k-nearest neighbor, k-NN）是一种基于分类与回归方法，这里只讨论分类问题中的k近邻法。k近邻假定给定一个训练数据集，其中实例类别已定，分类时，对新的实例，根据其k个最近邻...

机器学习之Perceptron模型本文主要介绍机器学习领域最为基础的模型，感知机模型：1、感知机模型介绍2、感知机数学原理3、算法及Python代码实现4、小结1、感知机模型介绍 定义（感知机） 假设输入空间（特征空间）是，输出空间是Y={+1，-1}，输入表示实例的特征向量，对应于输入空间（特征空间）的点；输出表示实例的类别。由输入空间到输出空间的如下函数 ...