sabrinalx的博客

这篇文章将会讲解隐马尔可夫模型，我将主要从以下四个方面展开：HMM模型的定义概率计算问题学习问题预测问题模型的定义隐马尔可夫模型其实是由三个分布确定的模型：即初始概率分布、状态转移概率分布以及观测概率分布，隐马尔可夫模型可以理解为由一个隐藏的马尔科夫链随机生成不可观测的状态随机序列，再由各个状态生成一个观测随机序列的过程，状态序列由状态转移概率分布随机产生，是我们不可知的一个随机序列，观测序列由观测概率分布随机产生，是我们最终得到的观测数据。下面用数学符号来表示这个模型：我们设Q是所有可能的状态集合

文章将从下面三个方面展开，完整代码我已更新到GitHub上，可以直接下载学习，如果觉得有用的话，欢迎start~EM算法EM算法高斯混合模型代码实现EM算法依旧从三个方面理解EM算法模型：EM算法常用于含有隐变量的情景，例如下面这个例子，在上面的观测数据中我们只知道第二个掷出的硬币是正面还是反面，不知道硬币A的观察结果，我们对上述实验进行建模，参数用θ=(π,p,q)\theta=(\pi,p,q)θ=(π,p,q)表示,掷硬币结果y（取值0或1）的概率可以表示为：p(y∣θ)=πpy(1−p)

这篇文章将从以下四个方面讲解机器学习中的提升方法，完整的代码我整理在我的GitHub项目中，可以自行前往下载，要是能star就更好了呀~提升方法提升方法的基本思想Adaboost方法提升树代码实现提升方法的基本思想依旧从三个方面理解提升方法，然后从抽象到具体，给出提升方法的两个具体实例Adaboost方法和提升树，进一步加深对提升方法的理解模型：提升方法的基本模型是加法模型，既可以用作分类...

文章将从以下两个方面展开K邻近我的理解代码实现我的理解虽然KNN算法比较直观和简单，但依旧从三个角度去理解它。模型：模型非常的直观，对于任意一个测试样本，我们从训练样本中找到距离他最近的K个样本，用多数表决的方法，如果K个训练样本中，属于A类的样本数最多，那么就将这个测试样本预测为A类，只要K和距离度量的方式确定了，预测结果也随之确定策略：在模型中已经提到KNN用的是多数表决的策略，其本...

这一篇接着上一篇机器学习(4)-支持向量机的理解与代码实现（上）继续介绍SMO算法以及对应的代码实现支持向量机序列最小最优化算法代码实现序列最小最优化算法上一篇我们讲到将原问题的优化问题转化为求解对偶问题的最优解，最终转化为求解如下约束规划问题：min⁡αL(w,b,α)=12∑i=1N∑j=1NαiαjyiyjK(xi,xj)−∑i=1Nαis.t.∑i=1Nαiyi=00≤αi≤C,i...

之前看吴恩达的机器学习视频，以为自己已经理解了SVM，今天看《统计学习方法》重新学习SVM，才发现之前自己的理解都只浮于表面，实际上要复杂的多。接下来我将从以下几个部分整理一下自己对SVM的理解和认识。支持向量机硬间隔支持向量机软间隔支持向量机非线性支持向量机SMO(序列最小优化)优化算法代码实现硬间隔支持向量机依然从三个方面理解支持向量机（1）模型（2）策略（3）算法模型：在刚接触SVM...

记录自己学习《统计学习方法》的过程，包括自己对基本概念的理解和代码实现感知机我的理解代码实现我的理解和其他方法一样，从三个方面去认识感知机（1）模型（2）策略（3）算法模型：首先假设输入数据是线性可分的，感知机的最终目的是求解一个超平面，使得输入可以分布在超平面的两边，从而达到分类的目的，因此感知机是一个线性的二分类模型，用数学表达式可以表示为：f(x)=sign(w⋅x+b)f(x)=...

本文主要从下面两个方面展开朴素贝叶斯我的理解代码实现我的理解朴素贝叶斯的本质就是在假设输入特征相互独立的条件下，利用后验概率对样本进行分类的学习方法，后验概率由贝叶斯理论可表示为P(Y∣X)=P(Y)P(X∣Y)P(X)P(Y|X) = \frac{P(Y)P(X|Y)}{P(X)}P(Y∣X)=P(X)P(Y)P(X∣Y)​对不同的y求出相应的后验概率，最终输出的y值为后验概率最大的y...

记录一下自己的学习过程，主要包括以下几个方面逻辑回归知识点和理解面试中会遇到的问题代码实现知识点和理解按照《统计学习方法》中介绍的三个方面来理解逻辑回归：（1）模型（2）策略（3）算法模型：即如何建模这个问题，首先逻辑回归主要应用于二分类问题，逻辑回归假设样本为正的概率为：P(Y=1∣x)=ewTx1+ewTxP(Y=1|x) =\frac{e^{w^Tx}}{1+e^{w^Tx}}P(...

1.p(x;y)首先p(x;y）是一个关于y的函数，y是自变量。这是参数估计中常用到的似然函数，意思用变量y表示随机变量x(这里是小x，表示现在随机变量大X已经取了一个确定的值就是x)发生的概率。理解了p(x;y)，我们再看看p(x1,x2,…,xn;y）,这个也不难理解，和p(x;y)的区别就是原来只有一个随机变量，现在有n个随机变量，他们的取值分别是(x1,x2,…,xn),我们现在用来表...