Ella.ting的专栏

一. 简单的说贝叶斯定理：贝叶斯、概率分布与机器学习转自http://www.cnblogs.com/LeftNotEasy/archive/2010/09/27/1837163.html贝叶斯定理用数学的方法来解释生活中大家都知道的常识形式最简单的定理往往是最好的定理，比如说中心极限定理，这样的定理往往会成为某一个领域的理论基础。机器学习的各种算法中使用的

[php] view plain copy print?#!/usr/bin/env python    import numpy as np  import cv2  import cv2.cv as cv  from video import create_capture  from common import clock, draw_s

原文出处： sciencefans 的博客   搞了一年人脸识别，寻思着记录点什么，于是想写这么个系列，介绍人脸识别的四大块：Face detection, alignment, verification and identification(recognization)，本别代表从一张图中识别出人脸位置，把人脸上的特征点定位，人脸校验和人脸识别。（后两者的区别在于，人脸校验是要给你两张脸

PCA算法的基本原理可以参考：http://www.cnblogs.com/mikewolf2002/p/3429711.html    对一副宽p、高q的二维灰度图，要完整表示该图像，需要m = p*q维的向量空间，比如100*100的灰度图像，它的向量空间为100*100=10000。下图是一个3*3的灰度图和表示它的向量表示：该向量为行向量，共9维，用变量表示

关于 PCA 算法的讲解文章不胜枚举，这里主要谈一谈 基于 Python 中 sklearn 模块的 PCA 算法实现。Explained Variance 累计贡献率 又名 累计方差贡献率 不要简单理解为 解释方差，它是 PCA 降维维度的重要指标，一般选取累计贡献率在90%左右的维度作为PCA 降维的参考维度。在识别算法的实现过程中，当我们求得某一数据库各类别特征参考维度时，取最大维度

转：http://blog.youkuaiyun.com/jlei_apple/article/details/8168856这两天在看关于boosting算法时，看到一篇不错的文章讲bootstrap, jackknife, bagging, boosting, random forest 都有介绍，以下是搜索得到的原文，没找到博客作者的地址，在这里致谢作者的研究。一并列出一些找到的介绍boos

本文是要配合《统计学习方法》才能看懂的，因为中间有些符号和定义是直接使用书本中的 先弄明白以下三个公式：1）Boost（提升法）=加法模型（即基函数的线性组合）+前向分步算法+损失函数2）Adaboost=Boost+损失函数是指数函数（基函数可以任意）3）提升树=Boost+基函数是决策树（损失函数可以任意） 由此可以看出：1）Boos

过拟合：为了得到一致假设而使假设变得过度复杂称为过拟合。“一个过配的模型试图连误差（噪音）都去解释（而实际上噪音又是不需要解释的），导致泛化能力比较差，显然就过犹不及了。” 这句话很好的诠释了过拟合产生的原因，但我认为这只是一部分原因，另一个原因是模型本身并不能很好地解释（匹配）数据，也就是说观测到的数据并不是由该模型产生的。“统计学家说：我们让数据自己说话。言下之意就是要摒弃先验概率。而贝叶斯支

出处：http://blog.youkuaiyun.com/longxinchen_ml/article/details/50082873， http://blog.youkuaiyun.com/han_xiaoyang/article/details/50100367 1.开场先扔个段子在互联网广告营销中，经常会有这样的对话： 问：你们的人群标签是什么样的？ 答：我们是专门为您订制的

在网上看到一篇对从代码层面理解gbdt比较好的文章，转载记录一下：              GBDT(Gradient Boosting Decision Tree) 又叫 MART（Multiple Additive Regression Tree)，是一种迭代的决策树算法，该算法由多棵决策树组成，所有树的结论累加起来做最终答案。它在被提出之初就和SVM一起被认为是泛化能力（g

1.1、摘要      贝叶斯分类是一类分类算法的总称，这类算法均以贝叶斯定理为基础，故统称为贝叶斯分类。本文作为分类算法的第一篇，将首先介绍分类问题，对分类问题进行一个正式的定义。然后，介绍贝叶斯分类算法的基础——贝叶斯定理。最后，通过实例讨论贝叶斯分类中最简单的一种：朴素贝叶斯分类。1.2、分类问题综述      对于分类问题，其实谁都不会陌生，说我们每个人每天都在执行分类

转：http://blog.youkuaiyun.com/jlei_apple/article/details/8168856这两天在看关于boosting算法时，看到一篇不错的文章讲bootstrap, jackknife, bagging, boosting, random forest 都有介绍，以下是搜索得到的原文，没找到博客作者的地址，在这里致谢作者的研究。一并列出一些找到的

入门书单《数学之美》 PDF作者吴军大家都很熟悉。以极为通俗的语言讲述了数学在机器学习和自然语言处理等领域的应用。《Programming Collective Intelligence》（《集体智慧编程》）PDF作者Toby Segaran也是《BeautifulData : The Stories Behind Elegant Data Solutions》（《数据

11 SMO优化算法（Sequential minimal optimization）SMO算法由Microsoft Research的John C. Platt在1998年提出，并成为最快的二次规划优化算法，特别针对线性SVM和数据稀疏时性能更优。关于SMO最好的资料就是他本人写的《Sequential Minimal Optimization A Fast Algorithm for

这几天无聊，正好想起来以前谁说有同学做人脸识别，感觉好高大上，所以找来一些基础的人脸识别算法来自己实现一下，正好锻炼一下numpy的使用。特征脸方法基本是将人脸识别推向真正可用的第一种方法，了解一下还是很有必要的。特征脸用到的理论基础PCA我在这里就不说了，百度一大堆，主要讲一下实现步骤和自己在用python实现是发现的问题。这里我所使用的训练图片是YALE的人脸数据库点击打开链接，这里面