qq_24034545的博客

平均绝对误差（Mean Absolute Error, MAE）也称L1范数损失，计算公式如下： 其中N为样本数，是真实值，是预测值。MAE可以很好的刻画预测值与真实值的偏差。模型使用MAE作为损失函数则是对数据分布的中值进行拟合。与之相似的是加权平均...

对数损失函数（log loss）：分类问题的输出结果是每个类别的概率，log-loss的输出的概率就表示其所属的类别的置信度。对于二分类问题，log loss的计算公式为： 其中N代表样本数量，代表第i个样本的真实值（0或1），代表第i个样本为1的概率。对于多分类问题...

PCA 主成分分析（Principal components analysis ）问题1、 比如拿到一个汽车的样本，里面既有以“千米/每小时”度量的最大速度特征，也有“英里/小时”的最大速度特征，显然这两个特征有一个多余。2、 拿到一个数学系的本科生期末考试成绩单，里面有三列，一列是对数学的兴趣程度，一列是复习时间，还有一列是考试成绩。我们知道要学好数学，需要有浓厚的兴趣，所以第二项与...

参考：牛顿法与拟牛顿法学习笔记参考：理解牛顿法牛顿算法1.基本描述牛顿法不仅可以用来求解函数的极值问题，还可以用来求解方程的根，二者在本质上是一个问题，因为求解函数极值的思路是寻找导数为0的点，这就是求解方程。1.将原函数在当前点做二阶泰勒展开                                       2.求极值的必要条件               ...

参考：《统计学习方法》——李航；参考：高斯混合模型（GMM）及其EM算法的理解1.EM的算法的介绍参考博文机器学习：《统计学习方法》笔记（三）—— EM算法2.三硬币模型问题：有三枚硬币（ABC）正面向上的概率分别为，p和q。进行如下试验——先掷A，如果A正面向上则掷B，如果A反面向上则掷C。如此独立地重复做n次试验；记录B和C的结果，正面向上记为1，反面向上记为0。观测结果为...

参考：《统计学习方法》——李航；摘要介绍了EM算法的推导过程、步骤及在三硬币模型中的应用等内容。正文1. 什么地方要用EM算法EM算法主要用于含有隐含变量的模型参数估计问题。如果概率模型的变量都是观测变量，那么给定数据，可以直接用极大似然估计或极大后验估计。当概率模型含有隐含变量时，就需要用EM算法来估计参数了。EM算法就是含有隐含变量的概率模型参数的极大似然估计或极大后验估计...

原文：机器学习：《统计学习方法》笔记（二）—— 条件随机场（CRF）参考：概率无向图模型1. 概率无向图的因子分解注：有一点笔者仍然不明白，《统计学习方法》是定义P(Y)的乘积是在最大团上进行，而有材料说明乘积是在极大团上进行。无向图中的极大团的结点个数可以是不同的，只要满足“不能再加进任何一个结点”的条件，就是极大团。因子分解是图中所有极大团的势函数的乘积规范化后的结果。计算...

参考：《统计学习方法》——李航；摘要介绍条件随机场的基本概念、概率计算、学习方法、预测方法等内容。正文1.基本概念1.1 什么是条件随机场条件随机场的定义为：X和Y都是随机变量，是给定X条件下Y的条件概率分布。若Y可以构成一个由无向图表示的马尔可夫随机场，即对任意成立，则称为条件随机场。其中指在无向图中除之外的所有点，指与相连的所有点。1.2 什么是概率...

参考：《统计学习方法》——李航；隐马尔可夫模型——码农场摘要介绍隐马尔可夫模型的基本概念、概率计算、学习方法、预测方法等内容。正文1. 基本概念隐马尔可夫模型是关于时序的模型，描述一个隐藏的马尔可夫链随机生成不可观测的状态序列，再由各个状态序列生成一个可观测的观测序列的过程。模型由初始概率分布（）、状态转移概率分布()、观测概率分布()决定，即模型可以表示为。状态转移矩阵：...

转：K-means算法原理以及应用转：K-means与K-means++

转：条件随机场CRF(一)从随机场到线性链条件随机场转：条件随机场CRF(二) 前向后向算法评估标记序列概率转：条件随机场CRF(三) 模型学习与维特比算法解码转：NLP —— 图模型（二）条件随机场（Conditional random field，CRF）...

转载：SMO算法剖析 

转：隐马尔科夫模型HMM（二）前向后向算法评估观察序列概率转：隐马尔科夫模型HMM（三）鲍姆-韦尔奇算法求解HMM参数转：隐马尔科夫模型HMM（四）维特比算法解码隐藏状态序列...