机器智能

LDA，pLSA 是基于textual retrieval衍伸到image classification分类领域的生成模型（generative model），主要是基于最大化似然概率来最大化后验概率的思想，来建立image与category间的关系。LDA是princeton的Blei提出的，具体C实现可以参考：http://www.cs.princeton.edu/~blei/lda-c/

如果你读过贝叶斯学习方面的书或者论文，想必是知道共轭先验这个名词的。现在假设你闭上眼睛，你能准确地说出共轭分布是指哪个分布和哪个分布式共轭的吗？我之前就常常把这个关系弄错，现在记录如下，以加强印象。贝叶斯学派和频率学派的区别之一是特别重视先验信息对于inference的影响，而引入先验信息的手段有“贝叶斯原则“（即把先验信息当着均匀分布）等四大类其中有重要影响的一类

参考链接：http://www.cnblogs.com/ysjxw/archive/2008/10/29/1322170.html；http://blog.hit.edu.cn/jiangfeng/post/31.html统计量是数据的函数。函数就是一种「浓缩」讯息的动作。因此, 统计量中所包含的讯息, 通常比整个样本数据所包含的来得少.例如样本的顺序统计量只包含了有哪些值出现

参看这个同仁的博客文章，有一系列的关于topic model的原理，设计方法等。http://blog.youkuaiyun.com/xianlingmao/article/details/7065318另外，这篇英文文章总体的论述了D.Blei的LDA模型在概率模型中的地位，以及其各个领域如人类学研究，基因发现等领域的应用。值得一看。http://www.scottbot

原帖请见：http://www.matrixq.net/2011/09/10218.html与GMM有关的matlab和c代码可以参见：(matlab+c)https://engineering.purdue.edu/~bouman/software/cluster/(matlab toolbox)http://www.kostaskyriakoulis.com/gmm

现在采用svm方法进行图像标注实验时，采用的词汇集合中，有些单词出现的图片数很少，甚至比特征维度还小。这种情况下，不管是用logistic regression 或者non-linear svm都无法得到好性能的分类器。 相当于方程数小于方程未知数的自由度，方程无精确解。这种情况就是分类中常遇到的unbalance data。 对于这种问题，一般有以下解决方法：（1）采用libsv

此处有两个写的比较好的介绍最速下降，牛顿法，共轭梯度下降法的网页，mark一下。http://www.codelast.com/?p=2573&cpage=1#comment-579http://bbs.sciencenet.cn/blog-588243-573819.html共轭梯度法（Conjugate gradient method）（ci

原帖请见: http://www.cnblogs.com/heaad/archive/2011/03/08/1977733.html在做分类时常常需要估算不同样本之间的相似性度量(Similarity Measurement)，这时通常采用的方法就是计算样本间的“距离”(Distance)。采用什么样的方法计算距离是很讲究，甚至关系到分类的正确与否。　　本文的目的就是对常用的相似性

最近在看LMNN的论文时， 发现作者做实验的起始步骤中首先用PCA对高纬度sample features进行降维处理时， 提到如何选取目标低纬度的值， 其提供的方法是： "account for 95% of its total variance." 这里的total variance是啥意思呢？ google了一下， 以下这篇文章有很好的解释：http://support.sas

以下这篇文章写的非常深刻， mark一下。http://freemind.pluskid.org/machine-learning/sparsity-and-some-basics-of-l1-regularization/另外， 这篇文章介绍了 针对具体数据特性， 处理overfitting的问题时， 如何选择L1还是L2  regularizationhttp:

原帖请见： http://www.binghe.org/2010/10/libsvm-cross-validation-and-grid-search/Libsvm / Liblinear的主页中提供了一个binary cross validation的c/python/matlab接口http://www.csie.ntu.edu.tw/~cjlin/libsvmtools/

原帖请见： http://www.verydemo.com/demo_c101_i1489.html信息检索（IR）的评价指标介绍 - 准确率、召回率、F1、mAP、ROC、AUC分类： 1.自然语言处理/机器学习在信息检索、分类体系中，有一系列的指标，搞清楚这些指标对于评价检索和分类性能非常重要，因此最近根据网友的博客做了一个汇总。准确率、召回率、F1信息

条件：有n个任务t=1,2,...,n,每个任务给予m个样本：（xt1,yt1）,...,(xtm,ytm)。目的:得出一个X到Y的函数ft，t=1，2，...，n。当这些任务是相关的，联合的任务学习应该比单独学习每个任务的效果好，特别当每个任务的数据相当少的时候，在这种情况下，独自学习是很不成功的。在这个过程中主要用到了传递的功能：1）通过n个任务学习得到的好的概

最近在将自己的标注算法在更大规模100k图片数量的database上延伸， 传统的参数训练方法(LR, DML）不能直接使用， 由于 pairwise 数量平方增长， 直接训练模型参数是不可取的。 参考去年以来large-scale based的文章， 发现SGD在参数获取过程中大量被使用， 已经成为工程化的基本处理流程之一。先mark几篇理论性的科普文章， 有个大致了解

判别模型 和 生成模型已有 4267 次阅读 2009-4-24 15:15 |个人分类:NLP|系统分类:科研笔记【摘要】    - 生成模型：无穷样本==》概率密度模型 = 产生模型==》预测    - 判别模型：有限样本==》判别函数 = 预测模型==》预测【简介】简单的说，假设o是观察值，q是模型。如果对P(o|q)建模，就是Generati

在做分类时常常需要估算不同样本之间的相似性度量(Similarity Measurement)，这时通常采用的方法就是计算样本间的“距离”(Distance)。采用什么样的方法计算距离是很讲究，甚至关系到分类的正确与否。　　本文的目的就是对常用的相似性度量作一个总结。本文目录：1. 欧氏距离2. 曼哈顿距离3. 切比雪夫距离4. 闵可夫斯

在使用MATLAB pattern recognition 工具箱做data classification时，最终评价classifier性能的好坏，工具箱给出了confusion matrix和roc指标，那如何解释这些指标呢？首先可以参考维基百科：confusion matrix,receiver operating characteristic.很多时候，我们希望对一个二值分

博客中插入图片好麻烦呀...暂时先给出比较好的链接吧，有时间再整理！      http://blog.tomtung.com/2011/10/logistic-regression/

最近在使用Libsvm时，将其编译成matlab能用的newex32文件后，加入matlab的path中，可以使用。但是默认Libsvm的svmtrain为首选svmtrain，而无视了MATLAB自带的svmtrain函数。原来是命名冲突...在matlab中文论坛看到解决方案，直接对libsvm路径下的svmtrain.newex32文件更改名称即可，比如改成libsvm_svmt

SVM作为判别模型(discriminative model)中所使用的典型方法，其产生是为2分类问题设计的svm多分类效果不佳，目前是svm研究的热点之一。libsvm用的是one- versus-one法。简介：.一对一法（one-versus-one,简称OVO SVMs或者pairwise）。其做法是在任意两类样本之间设计一个SVM，因此k个类别的样本就需要设计k(k-

Libsvm和Liblinear都是国立台湾大学的Chih-Jen Lin博士开发的，Libsvm主要是用来进行非线性svm 分类器的生成，提出有一段时间了，而Liblinear则是去年才创建的，主要是应对large-scale的data classification，因为linear分类器的训练比非线性分类器的训练计算复杂度要低很多，时间也少很多，而且在large scale data上的性

最近看image retrieval相关的论文，feature extraction and description是数据采集与表示的基本步骤，其中总是看到有关feature descriptor生成的环节，诸如提取global/local feature之后，采用k-means 进行quantization，然后计算visual distance，有L1 distance, L2 dista

高斯混合模型（GMM）参数优化及实现  高斯混合模型（GMM）参数优化及实现 1 高斯混合模型概述高斯密度函数估计是一种参数化模型。有单高斯模型（Single Gaussian Model, SGM）和高斯混合模型（Gaussian mixture model，GMM）两类。类似于聚类，根据高斯概率密度函数（PDF，见公式1）参数的不同，每一

原文：http://hi.baidu.com/872911713/blog/item/d9420ff6767cbf0fb07ec5f4.html交叉验证(Cross-Validation): 有时亦称循环估计， 是一种统计学上将数据样本切割成较小子集的实用方法。于是可以先在一个子集上做分析， 而其它子集则用来做后续对此分析的确认及验证。 一开始的子集被称为训练集。而其它

求导公式(撇号为转置）：Y = A * X --> DY/DX = A'Y = X * A --> DY/DX = AY = A' * X * B --> DY/DX = A * B'Y = A' * X' * B --> DY/DX = B * A'乘积的导数d(f*g)/dx=(df'/dx)g+(dg/dx)f'

机器学习推荐论文和书籍(转载)1,622 views发信人: zibuyu (得之我幸), 信区: NLP标  题: 机器学习推荐论文和书籍发信站: 水木社区 (Thu Oct 30 21:00:39 2008), 站内我们组内某小神童师弟通读论文，拟了一个机器学习的推荐论文和书籍列表。经授权发布在这儿，希望对大家有用。:)＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝

转自著名的“丕子”博客在统计计算中，最大期望（EM）算法是在概率（probabilistic）模型中寻找参数最大似然估计的算法，其中概率模型依赖于无法观测的隐藏变量（Latent Variable）。最大期望经常用在机器学习和计算机视觉的数据聚类（Data Clustering） 领域。最大期望算法经过两个步骤交替进行计算，第一步是计算期望（E），利用对隐藏变量的现有估计值，计算其最大似然

以下内容均不是原创，都是从以下地址摘录转帖的学习笔记，多数都还没看懂，留下来以后再看http://hi.baidu.com/flyer_hit/blog/item/2ec12d251dd9dd6835a80f55.htmlhttp://blog.youkuaiyun.com/feixiangcq/archive/2010/06/06/5650672.aspxhttp://fan.cos.nam

关于PRML的读书笔记有许多， 以下这个链接则从较高的层面上介绍了Bishop撰写PRML此书的思路：http://book.douban.com/review/5560631/这书给人的最大的印象可能是everything has a Bayesian version或者说everything can be Bayesianized，比如PRML至少给出了以下Bayesian