qq_26496077的博客

1. 条件随机场定义1.1 定义条件随机场(conditional random field, CRF)是给定一组输入随机变量条件下另一组输出随机变量的条件概率分布模型,其特点是假设输出随机变量构成马尔可夫随机场.CRF可以用于不同的预测问题.当用于标注问题时,使用线性链条件随机场,这时,问题变成了由输入序列对输出序列预测的判别模型,形式为对数线性模型,其学习方法通常是极大似然估计或正则化的...

1. EM算法背景1)用于含有隐变量的概率模型参数的极大似然估计,或极大后验概率估计.2)概率模型有时候既含有观测变量,又含有隐变量或潜在变量.如果概率模型的变量都是观测变量,那么给定数据,可以直接用极大似然估计法,或贝叶斯估计法估计模型参数.但是当有隐变量时,就不能简单的使用这些估计方法.3)EM算法的每次迭代由两次组成:求期望、求极大2. EM(expectation maximiza...

1. 隐马尔可夫模型的应用场景隐马尔可夫模型(hidden Markov model, HMM)是可用于标记问题的统计学习模型,描述由隐藏的马尔可夫链随机生成观测序列的过程,属于生成模型.HMM在语音识别、自然语言处理、生物信息、模式识别等领域具有广泛的应用.2. 隐马尔可夫模型的基本概念2.1 隐马尔可夫模型的定义2.1.1 定义隐马尔可夫模型是关于时序的概率模型,描述由一个隐藏的马尔...

1. 提升方法基本思路对于一个复杂任务来说,将多个专家的判断进行适当的综合所得出的判断,比其中任何一个专家单独的判断好.即“三个臭皮匠顶个诸葛亮”.2. 强学习算法与弱学习算法强学习算法:在概率近似正确(PAC)学习的框架中,一个概念(一个类),如果存在一个多项式的学习算法能够学习它,并且正确率很高,那么这个概念是强可学习的.弱学习算法:在概率近似正确(PAC)学习的框架中,一个概念(一个...

1. 主题概括SVM(支持向量机)是二分类模型,它的基本模型是定义在特征空间上的间隔最大的线性分类器,间隔最大使它有别于感知机.SVM是在感知机基础上发展的.感知机链接支持向量机包括核技巧,它的作用是使的低纬度升级到高纬度,使得非线性可分问题变为可分.2.线形可分支持向量机与硬间隔最大化2.1 线形可分支持向量机...

1.1 逻辑斯谛回归模型

1. 决策树模型与学习

1. 朴素贝叶斯法的学习与分类

1. k近邻算法定义给定一个训练集,对新的输入实例,在训练数据集汇总找到与该实例最邻近的k个实例,这k个实例的多数属于某个类,就把该输入实例分为这个类.2. k近邻算法模型基本要素2.1 距离度量特征空间中两个实例点的距离是两个实例点相似程度的反映.距离度量可以使用欧式距离,或更一般的Lp距离、Minkowski距离.2.2 k值的选择在应用中,k一般取一个比较小的数值(小于2...

1.感知机模型感知机的几何解释: 线性方程:w*x+b=0,对应于特征空间R中的一个超平面S,其中w是超平面的法向量,b是超平面的截距,这个超平面将特征空间划分为两个部分,位于两部分的点(特征向量)分别被分为正、负两类.因此,超平面S称为分离超平面.如图:注:||w||为l2范数,即根号下w中所有元素的平方和2.感知机学习策略1)损失函数的选择1.1)误分类点的总数缺点:这样的损...

1.统计学习三要素:模型、策略、算法1)模型:概率模型(由条件概率表示的模型)与非概率模型(由决策函数表示的模型)2)策略2.1)损失函数与风险函数2.2)期望损失函数(期望风险函数)与经验风险函数期望风险函数:模型关于联合分布的期望损失:经验风险函数:模型关于训练样本集的平均损失:2.3)经验风险最小化与结构风险最小化经验风险最小化的策略认为:经验风险最小的模型就是最优的模...