TRTK

首先，我们回顾上篇文章中的最大似然估计，假设x为独立同分布的采样，θ为模型参数,f为我们所使用的模型。那么最大似然估计可以表示为： 现在，假设θ的先验分布为g。通过贝叶斯理论，对于θ的后验分布如下式所示： 最大后验分布的目标为：假设有五个袋子，各袋中都有无限量的饼干(樱桃口味或柠檬口味)，已知五个袋子中两种口味的比例分别是樱桃 100%樱桃

原文地址：http://blog.youkuaiyun.com/xiazdong/article/details/7950084

机器学习方法概论

线性分类模型--感知机（perceptron）

梯度下降法求解感知机模型

机器学习方法概论2

生成模型（Generative）和判别模型（Discriminative）   方法

AdaBoost算法系列1

多示例学习（Multi Instance Learning）

原文地址：http://www.cnblogs.com/justany/archive/2012/11/23/2784125.html

原文地址：http://www.cnblogs.com/jerrylead/archive/2011/04/06/2006910.htmlK-means也是聚类算法中最简单的一种了，但是里面包含的思想却是不一般。最早我使用并实现这个算法是在学习韩爷爷那本数据挖掘的书中，那本书比较注重应用。看了Andrew Ng的这个讲义后才有些明白K-means后面包含的EM思想。     聚

支持向量机即 Support Vector Machine，简称 SVM 。我最开始听说这头机器的名号的时候，一种神秘感就油然而生，似乎把 Support 这么一个具体的动作和 Vector 这么一个抽象的概念拼到一起，然后再做成一个 Machine ，一听就很玄了！不过后来我才知道，原来 SVM 它并不是一头机器，而是一种算法，或者，确切地说，是一类算法，当然，这样抠字眼的话就没完没

假正例（False Positive）：预测为1，实际为0的样本假负例（False Negative）:预测为0，实际为1的样本实际预测中，那些真正例（True Positive）和真负例（True Negative）都不会造成损失（cost）。那么，我们假设一个假正例的损失是LFP，一个假负例的损失是LFN。我们可以得到一个损失矩阵：

在读TLD的那篇论文中，对半监督算法有了一定的了解后，能把第4部分开头对P-N学习的推导看懂一点，但是在紧接着的第二部分中有Relation to supervised bootstrap这章，经常会出现bootstrap，但是没有学过模式识别，对这个概念很模糊，所以就查了下，但资料很少，最后结合《Machine Learing  A Probabilistic Perspective》的6.2节

由于TLD算法中采用的是随机森林分类器，这里将自己找的资料汇下总，以便日后查找所需。       随机森林分类的过程就是对于每个随机产生的决策树分类器，输入特征向量，森林中每棵决策树对样本进行分类，根据每个决策树的权重得到最后的分类结果。那么要搞清随机森林，就来先搞清下决策树。1、决策树       所谓决策树，顾名思义，是一种树，一种依托于策略抉择而建立起来的树。1.1 树

在TLD的那片文章中，第4-1部分讲的就是semi-supervied learning method 。所以在网上查查了，在博客园上找到一篇好的博文，转给大家，里面还有很多链接，可以给想深入研究的同学以参考。转载：     最近的一段时间一直在学习半监督学习算法，目前，国内的南京大学周志华老师是这方面的泰斗，写了很多这方面牛的文章，可以参考一下他的主页：http://cs.nju

虽然南京大学周志华老师的论文已经写得非常浅显易懂了，但是对于只有点概率统计基础的我来说还是有许多地方看不懂，而且概率统计的知识早在几年前学的，现在经常没有用到导致很多概念在见到的时候还是会感觉很模糊，对于阅读论文或者编写代码都有点影响。所以想在此处系统的边学习边分享总结下，让自己以后忘了的时候可以到这篇文章里很快的回忆起来。有错误的地方还请大家指正！       首先从概率密度函数讲起吧，之前

Prior, Likelihood, PosteriorMLAPP第3.2节，讲的很好，用了一个叫 number game 的小游戏做例子，通俗易懂距离和相似度度量距离和相似度度量 » webdataanalysis.net欧氏距离和余弦相似度的区别是什么？ – 知乎KNN(K Nearest Neighbor)K Nearest Neighbor 算法 _ 酷壳

原文：http://blog.youkuaiyun.com/csy463168656/article/details/8213992

原文：http://blog.youkuaiyun.com/lch614730/article/details/17069053

本文装载自zouxy09的博客，其中一些参照自己的理解作了标记或注释