Nan

最近在学习机器学习，学习到了随机森林算法，想做一个demo，阅读了python的sk-learn包中随机森林的代码实现，做了一些笔记。 sk-learn中的随机森林是基于RandomForestClassifier类实现的，它的原型是 class RandomForestClassifier(ForestClassifier) 继承了一个抽象类ForestClassifier，也就是分类树

最近整理了部分代码，每隔几天记录一下自己的成果，部分基于《机器学习实战Machine Learning in Action》这本书，我的想法是给那些对算法有大体理解的人一个更直观的认识，所以以下不会涉及到算法推导，只会有一个大概的解释。第一个实例是KNN算法，KNN算法是利用空间中样本间的距离来度量一个新样本属于哪一类，n个属性对应的便是n维空间中的点。 用的数据是一个约会网站中某个人对不同人的喜

在搜索了很多资料后终于搞明白了SVM，对几个关键的部分做一些记录。 SVM的全称Support Vector Machine，中文名支持向量机，是一种分类算法，常见于二分类问题，和常见的二分类算法不同，该算法是在两类（或多类，以下简写为两类）标记之间找到离两类标记最远的一个超平面来分割数据，比如二维点就是找一条线来分割，三维点就是找一个平面来分割，n维数据找一个n-1维超平面来分割。 如何找这个

以下代码涉及到的公式推导参照于以下两篇文章，数学推导的部分写的非常好！（如果不了解数学推导过程，代码中的一些部分很可能看不懂） http://www.thebigdata.cn/JieJueFangAn/12661.html http://www.wengweitao.com/zhi-chi-xiang-liang-ji-smoxu-lie-zui-xiao-zui-you-hua-suan-f

简易版的SVM中，SMO算法中α的选择采取遍历且随机的方式，见http://blog.youkuaiyun.com/xiaonannanxn/article/details/52372085 优化版中，我们采取启发式方式选择，即αj选择max|Ei-Ej|，这样就可以让每次更新的步长更大，减少我们的迭代次数，更新上次的SVM.py# coding:utf-8 from numpy import * impor

前两篇博客涉及到的SVM还只是一个线性分类器，如果在二维情况下遇到如下的情况，线性分类器的效果就不会很好了 这个时候我们就需要一个叫做核函数的东西，简单来说它的最大作用就是把低维数据映射到高维数据，具体可以看前面推荐的一篇文章http://www.thebigdata.cn/JieJueFangAn/12661.html中核函数的部分，这里借用两张图来演示效果 这样我们就能分割开了，一个比较

https://github.com/seetaface/SeetaFaceEngine 一、概述 SeetaFace Engine是一款无需任何第三方库就能在CPU上运行的开源C++脸部识别引擎，一共分为三个关键的部分：SeetaFace Detection（脸部检测），SeetaFace Alignment（脸部校准）和SeetaFace Identification（脸部识别），这三个部分