win_in_action的专栏

（EM算法）The EM Algorithm      EM是我一直想深入学习的算法之一，第一次听说是在NLP课中的HMM那一节，为了解决HMM的参数估计问题，使用了EM算法。在之后的MT中的词对齐中也用到了。在Mitchell的书中也提到EM可以用于贝叶斯网络中。下面主要介绍EM的整个推导过程。1. Jensen不等式      回顾优化理论中的一些概念。设f是定义域为实

Batch gradient descent: Use all examples in each iteration；　　Stochastic gradient descent: Use 1 example in each iteration；　　Mini-batch gradient descent: Use b examples in each iteration.

从一元导数的几何意义理解梯度下降预备知识梯度下降法介绍wiki批量梯度下降法随机梯度下降法导数偏导数方向导数梯度为什么沿着梯度方向，函数值增加最快总结最优化问题及机器学习算法中非常重要的一部分，很多机器学习算法的核心都是在处理最优化问题。梯度下降法（gradient descent）是一种常用的一阶（first-order）优化方法，是求解无约束问题最简单、最经典的方法

引言　机器学习栏目记录我在学习Machine Learning过程的一些心得笔记，涵盖线性回归、逻辑回归、Softmax回归、神经网络和SVM等等，主要学习资料来自网上的免费课程和一些经典书籍，免费课程例如Standford Andrew Ng老师在Coursera的教程以及UFLDL Tutorial，经典书籍例如《统计学习方法》等，同时也参考了大量网上的相关资料（在后面列出）。

-s svm类型：SVM设置类型(默认0)　　0 -- C-SVC　　1 --v-SVC　　2 – 一类SVM　　3 -- e -SVR　　4 -- v-SVR　　-t 核函数类型：核函数设置类型(默认2)　　0 – 线性：u'v　　1 – 多项式：(r*u'v + coef0)^degree　　2 – RBF函数：exp(-r|u-v|^2)　　3 –si

在知乎问答中，看到一个很好的回答，记录到此篇博文中，以便于后期查找。普通的线性回归的公式是这样的<img src="https://pic1.zhimg.com/55348094cfdfad25e96219b20d310424_b.png" data-rawwidth="1468" data-rawheight="814&

ROC曲线对于0,1两类分类问题,一些分类器得到的结果往往不是0,1这样的标签,如神经网络,得到诸如0.5,0,8这样的分类结果。这时,我们人为取一个阈值,比如0.4,那么小于0.4的为0类,大于等于0.4的为1类,可以得到一个分类结果。同样,这个阈值我们可以取0.1,0.2等等。取不同的阈值,得到的最后的分类情况也就不同。 如下面这幅图: 蓝色表示原始为负类分类得到的统计

ROC（Receiver Operating Characteristic）曲线和AUC常被用来评价一个二值分类器（binary classifier）的优劣，这篇博文简单介绍ROC和AUC的特点，以及更为深入地，讨论如何作出ROC曲线图以及计算AUC。# ROC曲线需要提前说明的是，我们这里只讨论二值分类器。对于分类器，或者说分类算法，评价指标主要有precision，recall，

一、训练集 vs. 测试集在模式识别（pattern recognition）与机器学习（machine learning）的相关研究中，经常会将数据集（dataset）分为训练集（training set）跟测试集（testing set）这两个子集，前者用以建立模型（model），后者则用来评估该模型对未知样本进行预测时的精确度，正规的说法是泛化能力（generalization

内容很多，参见原文链接 http://blog.youkuaiyun.com/macyang/article/details/38782399目录(?)[-]   支持向量机通俗导论理解SVM的三层境界前言第一层了解SVM10什么是支持向量机SVM11线性分类111分类标准1121或-1分类标准的起源logistic回归113形式化标示12线性分类的一个例子13函数间隔

SVM最基本的应用是分类。 求解最优的分类面，然后用于分类。最优分类面的定义： 对于SVM，存在一个分类面，两个点集到此平面的最小距离最大，两个点集中的边缘点到此平面的距离最大。从直观上来看，下图左边的，肯定不是最优分类面；而右边的能让人感觉到其距离更大，使用的支撑点更多，至少使用了三个分类面，应该是最优分类面。那么，是不是一个最优分类面需要两个或三

分类是一种重要的数据挖掘算法。分类的目的是构造一个分类函数或分类模型（即分类器），通过分类器将数据对象映射到某一个给定的类别中。分类器的主要评价指标有准确率(Precision)、召回率(Recall)、Fb-score、ROC、AOC等。在研究中也有采用Accuracy（正确率）来评价分类器的。但准确率和正确率这两个概念经常有人混了。准确率(Precision) 和召回率(Recall)

一、高斯模型简介      首先介绍一下单高斯模型(GSM)和高斯混合模型(GMM)的大概思想。1.单高斯模型      如题，就是单个高斯分布模型or正态分布模型。想必大家都知道正态分布，这一分布反映了自然界普遍存在的有关变量的一种统计规律，例如身高，考试成绩等；而且有很好的数学性质，具有各阶导数，变量频数分布由μ、σ完全决定等等，在许多领域得到广泛应用。在这里简单介绍下

现简单对屏幕回显信息进行说明：#iter为迭代次数，nu 设置nu - SVC、one-class-SVM 与nu - SVR 中参数nu ，默认值0.5，obj为SVM文件转换为的二次规划求解得到的最小值，rho 为判决函数的常数项b，nSV 为支持向量个数，nBSV为边界上的支持向量个数，Total nSV为支持向量总个数