lemonaha的博客

FROM:    http://www.cnblogs.com/einyboy/p/3594432.html 一、特征提取Feature Extraction： SIFT [1] [Demo program][SIFT Library] [VLFeat]PCA-SIFT [2] [Project]Affine-SIFT [3] [Project]SURF

六逻辑回归与最大熵模型 1 逻辑回归模型 11 逻辑分布logistics regression 12二项逻辑回归模型 13模型参数估计 14多项逻辑回归 2最大熵模型 21最大熵原理 22最大熵模型的定义 23最大熵模型的学习 24极大似然估计 3模型学习的最优化算法六、逻辑回归与最大熵模型逻辑回归（logistic regression）是统计学习中的经典分类方法。最大熵是概率模型学习的一个准则

在多元统计分析中，主成分分析（英语：Principal components analysis，PCA）是一种分析、简化数据集的技术。主成分分析经常用于减少数据集的维数，同时保持数据集中的对方差贡献最大的特征。这是通过保留低阶主成分，忽略高阶主成分做到的。这样低阶成分往往能够保留住数据的最重要方面。但是，这也不是一定的，要视具体应用而定。由于主成分分析依赖所给数据，所以数据的准确性对分析结果影响很大

机器学习常见算法面试题总结朴素贝叶斯P(A∩B)=P(A)*P(B|A)=P(B)*P(A|B) 所以有：P(A|B)=P(B|A)*P(A)/P(B) 对于给出的待分类项，求解在此项出现的条件下各个目标类别出现的概率，哪个最大，就认为此待分类项属于哪个类别工作原理 假设现在有样本x=(a1,a2,a3,…an)这个待分类项(并认为x里面的特征独立) 再假设现在有分类目标Y={y1,y2,y

五决策树 1决策树模型与学习 11决策树模型 12决策树与if-then规则 13决策树与条件概率分布 14决策树学习 2特征选择 21特征选择问题 22信息增益 23信息增益比 3决策树的生成 31 ID3算法 32 C45的生成方法 4决策树的剪枝 5 CART算法 51 CART生成 52 CART剪枝 五、决策树决策树（decision tree）是一种基本的分类与回归方法，这里主要讨论用于

四朴素贝叶斯法 1朴素贝叶斯法的学习与分类 11基本方法 12后验概率最大化的含义 2朴素贝叶斯法的参数估计 21极大似然估计 22学习与分类方法 23贝叶斯估计 四、朴素贝叶斯法朴素贝叶斯（naive Bayes）法是基于贝叶斯定理与特征条件独立假设的分类方法。对于给定的训练数据集，首先基于特征条件独立假设学习输入/输出的联合概率分布；然后基于此模型，对给定的输入x，利用贝叶斯定理求出后验概率的最

三k近邻法 1 k近邻算法 2 k近邻模型 31模型 22距离度量 23 k值的选择 24分类决策规则 3k近邻法的实现kd树 31构造kd树 32搜索kd树三、k近邻法k近邻法（k-nearest neighbor, k-NN）是一种基本分类与回归方法。这里只讨论分类问题中的k近邻法。k近邻法的输入为实例的特征向量，对应于特征空间的点；输出为实例的类别，可以取多类。k近邻法假设给定一个训练数据集，

二感知机 1感知机模型 2 感知机学习策略 21数据集的线性可分性 22感知机学习策略 3感知机学习算法 31感知机学习算法的原始形式 32算法的收敛性 33感知机学习算法的对偶模式二、感知机感知机（perceptron）是二类分类的线性分类模型，其输入为实例的特征向量，输出为实例的类别，取+1 , -1 二值。感知机对应于输入空间（特征空间）中将实例划分为正负两类的分离超平面，属于判别模型。感知机

统计学习方法统计学习方法 一统计学习方法概论 1 统计学习 2监督学习 21输入空间特征空间输出空间 22联合概率分布 23假设空间 3 统计学习的三要素 31 模型 32策略 4模型评估与模型选择 41训练误差与测试误差 42过拟合与模型选择 5正则化与交叉验证 51正则化 52交叉验证 6泛化能力 61泛化误差 7生成模型与判别模型 8分类问题 9标注问题 10回归问题 一、统计学习方法概论1.

1.下载建议直接安装下面链接中qt下面的qt-opensource-linux-x64-5.4.0.run可以避免很多安装中的问题为了后面例子代码编译生成的统一性，也为了方便国内用户下载，本人将 Qt 5.4.0 版本开发环境存了一份在百度网盘里： http://pan.baidu.com/s/1nuk5Lbz 下载参考链接 https://lug.ustc.edu.cn/sites/qtgui

1、 正确安装python3.4或2.7。 2、 下载numpy的.whl文件（各种包的.whl文件下载地址http://www.lfd.uci.edu/~gohlke/pythonlibs/按需要选择对应版本，cp后的数字表示的是对应的python的版本（如cp27表示python2.7上用）后面的win32表示32位操作系统上用。），选择对应版本。 3、 下载好后将.whl文件放在py

Linear SVM和LR都是线性分类器 Linear SVM不直接依赖数据分布，分类平面不受一类点影响；LR则受所有数据点的影响，如果数据不同类别strongly unbalance一般需要先对数据做balancing Linear SVM依赖数据表达的距离测度，所以需要对数据先做normalization；LR不受其影响 Linear SVM依赖penalty的系数，实验中需要做validati