算法

分类的目标是，使得类别内的点距离越近越好（集中），类别间的点越远越好。

在机器学习领域，不少的地方都要用到特征值的计算，比如说图像识别、pagerank、LDA、PCA等等。

LDA是最简单的线性分类器，可以看做是简化版的SVM。LDA和PCA有较强的相关性，从推导、求解到算法最终的结果都有相当的相似性。

LDA（监督学习）的输入数据是带标签的，而PCA（无监督学习）的输入数据是不带标签的

参看http://www.cnblogs.com/LeftNotEasy/archive/2011/01/08/lda-and-pca-machine-learning.html

SVM(Support Vector Machine)支持向量机

主要思想可以概括为两点：                                            非线性映射算法

1）针对线性可分情况进行分析    低维输入空间（线性不可分）----------->高维特征空间（线性可分）

2）基于结构风险最小化理论      在特征空间中建构最优分割超平面，发现目标函数的全局最小值

*SVM一般只能用在二类问题，对于多类问题效果不好

支持向量机是统计学习理论在算法领域应用的集中体现。

支持向量机是在统计学习理论的VC维理论和结构风险最小化原理基础上发展起来的一种新的机器学习方法。

神经网络的主要思想是：把经验风险最小化作为衡量算法准确性的主要依据。

模型要有泛化能力

核函数：计算两个向量在隐式映射空间中的内积函数。可以通过低维计算就把分类效果映射到高维上，也就是说避免了高维空间中的组合爆炸问题。

AdaBoost是一种分类方法，把一些比较弱的分类方法合在一起，组合出新的更强的分类器。

常用的人脸特征分类器有两类：Haar特征和LBP特征

主成分分析（PCA）：一个高维数据如果能被相关变量表示，那么只有一些维的数据才有意义。最大方差选第一维，第二维选与第一维垂直且方差最大的。关注协方差矩阵的特征值和特征向量

参看http://www.letiantian.me/2014-12-23-pca-mnist/

NMF（非负矩阵分解）可以用于隐语意模型

参看http://www.letiantian.me/2014-12-22-latent-factor-model-and-nmf/

深度学习不是一个算法，而是通过多层神经网络构建出的一套算法框架。

转载于:https://www.cnblogs.com/sxbjdl/p/5086004.html