yang_jianfeng的博客

神经网络神经网络（Neural Networks）是一种模仿生物神经系统的机器学习算法。与生物神经系统相似，人工神经网络也由若干个神经元构成。

期望最大值期望最大值（Expectation Maximization，EM）算法是一种能够得到极大似然参数估计的迭代方法。对于一个除了拥有未知参数和可观测变量外，还包含隐含变量的统计模型来说，是无法用极大似然方法直接得到参数的，因为我们不能像极大似然法那样，同时对未知参数和隐含变量求导来求解似然函数。但该模型可以应用EM算法得到，它是通过可观测变量分别求解两个方程，即把第一个方程的解代入第二个方程中，再把第二个方程代入第一个方程中，依次类推，直到收敛为止。...

极端随机树极端随机数（Extremely randomized Tree,ET或Extra-Trees)算法与随机森林算法十分相似，都是由许多决策树构成。但该算法与随机森林有两点主要的区别：1.随机森林算法应用的是Bagging模型，而ET是使用所有的训练样本得到每颗决策树的，也就是说，每颗决策树应用的是相同的全部训练样本。2.随机森林算法是在一个随机子集内得到的最佳分叉属性，而ET是完全随机地得到分叉值，从而实现对决策树的分叉。...

随机森林随机森林（Random Forest）随机森林算法由许多决策树组成，每个 决策树之间是不相关的。而随机森林算法的独特性就体现在“随机”两个字上：通过随机抽取得到不同的样本，来构建每棵决策树，决策树每个节点的最佳分叉属性从由随机得到的特征属性集合中选取。...

梯度提升树可以实现回归、分类和排序。GBT的优点是：特征属性无须进行归一化处理，预测速度快，可以应用不同的损失函数等。GBT包含3个机器学习的优化算法：决策树方法、提升方法和梯度下降法。...

AdaBoost自适应提升（Adaptive Boosting,AdaBoost)算法由来自AT&T实验室的Freund和Schapire，于1995年首次提出。该算法解决了早期Boosting算法的实际执行时遇到的一些问题，而该算法可以作为一种从一系列弱分类器中产生一个强分类器的通用方法。正由于AdaBoost算法的优异性能，Freund和schapire因此获得了2003年度的哥德尔奖。...

决策树决策树是一种非参数的监督学习方法，主要用于分类和回归。决策树的目的是构造一种模型，使之能够从样本数据的特征属性中，通过学习简单的决策规则——IF THEN规则，从而预测目标变量的值。决策树往往采用的是自上而下的设计方法，每迭代循环一次，就会选择一个特征属性进行分叉，直到不能再分叉为止。因此，在构建决策树的过程中，选择最佳（既能够快速分类，又能使决策树的深度最小）的分叉属性是关键所在。这种“最佳性”可以用非纯度（impurity）进行衡量。...

支持向量机（Support Vector Machine,SVM）是一种监督的学习算法，它不仅可以用于分类问题（称之为SVC），还可以用于回归问题（称之为SVR）。SVM算法的重要性不仅体现在理论上，还体现在它的实效性。理论性好主要表现为以下3点：1.对含有大量特征属性的小样本具有很强的鲁棒性；2.对简单和复杂分类模型都具有很强的学习能力；3.如果采用复杂的数学模型，可以有效避免过拟合的现...

K近邻算法（K-Nearest Neighbors，KNN）是一种非常简单的机器学习方法，既可以处理分类问题，也可以处理回归问题，而且它的执行效果非常好。KNN是一种懒惰学习方法（lazy learning algorithm）。所谓懒惰学习算法，指的是直到有了新的测试样本，该算法才开始依据训练样本进行样本的预测处理工作。也就是说，该算法事先不会对训练样本进行任何处理，智慧“懒散"地等待测试样本...

正态贝叶斯分类器OpenCV实现的贝叶斯分类器不是朴素贝叶斯分类器（Naive Bayes Classifier）,而是正态贝叶斯分类器（Normal Bayes Classifier）。朴素贝叶斯分类器是一种基于贝叶斯理论的简单的概率分类器，而朴素的含义是指输入变量的特征属性之间具有很强的独立性。...