BigCowPeking

AdaBoost代码理解算法的原理

我讲EM算法的大概流程主要三部分：需要的预备知识、EM算法详解和对EM算法的改进。一、EM算法的预备知识1、极大似然估计（1）举例说明：经典问题——学生身高问题　　我们需要调查我们学校的男生和女生的身高分布。 假设你在校园里随便找了100个男生和100个女生。他们共200个人。将他们按照性别划分为两组，然后先统计抽样得到的100个男生的身高。假设他们的身高是服从高斯分布的。但是这个...

一，随机森林随机森林是一个用随机方式建立的，包含多个决策树的集成分类器。其输出的类别由各个树投票而定（如果是回归树则取平均）。假设样本总数为n，每个样本的特征数为a，则随机森林的生成过程如下：从原始样本中采用有放回抽样的方法选取n个样本； 对n个样本选取a个特征中的随机k个，用建立决策树的方法获得最佳分割点； 重复m次，获得m个决策树； 对输入样例进行预测时，每个子树都产生一个结果，...

def findLossAndSplit(x,y):    # 我们用 x 来表示训练数据    # 我们用 y 来表示训练数据的label    # x[i]表示训练数据的第i个特征    # x_i 表示第i个训练样本    # minLoss 表示最小的损失    minLoss = Integet.max_value    # feature 表示是训练的数据第几...

贝叶斯分类是一类分类算法的总称，这类算法均以贝叶斯定理为基础，故统称为贝叶斯分类。而朴素朴素贝叶斯分类是贝叶斯分类中最简单，也是常见的一种分类方法。这篇文章我尽可能用直白的话语总结一下我们学习会上讲到的朴素贝叶斯分类算法，希望有利于他人理解。1  分类问题综述 对于分类问题，其实谁都不会陌生，日常生活中我们每天都进行着分类过程。例如，当你看到一个人，你的脑子下意识判断他是学生还是社会上的人...

本博客记录Softmax 和SVM分类器的学习过程，欢迎学习交流。目前解决图像分类问题，比较流行的方法是卷积神经网络上。这种方法主要有两部分组成：一个是评分函数（score function），它是原始图像数据到类别分值的映射。另一个是损失函数（loss function），它是用来量化预测分类标签的得分与真实标签之间一致性的。该方法可转化为一个最优化问题，在最优化过程中，将通过更新评分函数的参数...

1：BP神经网络梯度更新每一层的权值更新的详细步骤：详细的步骤：主要是写的太好了，我就不在编辑公式了！

VS中调用libsvm的步骤

转载：https://zhuanlan.zhihu.com/p/23270674自己推导一遍就完全理解梯度的更新方式了！前向传播先计算的所有输入：，代入数据可得：; 然后利用logistic函数计算得的输出:; 用同样的方法得；对输出层神经元重复这个过程，使用隐藏层神经元的输出作为输入。这样就能给出的输出：，代入数据可得：，则其输出为：。同样可以得到。开始...

BP神经网络的反向训练过程

SoftMax原理及代码

LBF算法得到JDA算法的训练数据(杂谈)

使用朴素贝叶斯分类解决实际问题的例子

随机森林原理详解

CART决策树分类和回归

机器学习之分类回归树CART

2.1 样本预处理      样本内容包含：图像、真实人脸、估计人脸、置信度和权值。对于人脸图像来说，首先要将人脸归一到同一尺度，我的做法是：       1）计算真实人脸形状的最小外接矩形；       2）计算正方形，其中心为矩形的中心，边长为矩形最大边长；       3）计算正方形边长与标准大小的比例，根据这一比例缩放图像和人脸形状；       训练样本初始的估计人脸...