autocyz

反向传播算法是多层神经网络的训练中举足轻重的算法，本文着重讲解方向传播算法的原理和推导过程。因此对于一些基本的神经网络的知识，本文不做介绍。在理解反向传播算法前，先要理解神经网络中的前馈神经网络算法。前馈神经网络如下图，是一个多层神经网络的简单示意图： 给定一个前馈神经网络，我们用下面的记号来描述这个网络： LL：表示神经网络的层数； nln^l：表示第ll层神经元的个数； fl(∙)f

逻辑回归逻辑回归（Logistic Regression,LR）是一种很常用的分类算法，对于一般的二分类情况，给定N个训练样本，(x1,y1)，(x2,y2)...(xN,yN)(x_1,y_1)，(x_2,y_2)...(x_N,y_N)，其中xi∈Rnx_i\in R^n是一个n维向量，yi∈{−1,+1}y_i\in \{-1,+1\}表示了其对应样本的标签，1代表正样本，-1代表负样本。一般

在分析adaboost算法前，首先看一幅图。 如上图所示，adaboost算法的核心思想就是由分类效果较差的弱分类器逐步的强化成一个分类效果较好的强分类器。而强化的过程，就是如上图所示逐步的改变样本权重，样本权重的高低，代表其在分类器训练过程中的重要程度。adaboost算法流程下面首先来看一下在李航的《统计学习方法》一书中对adaboost的解释： 算法的输入：训练数据集T={(x1,y1

卡尔曼滤波卡尔曼滤波的作用不用多说，就是根据前面已知的信息，预测将来可能发生的情况。对于一个系统来说，以跟踪系统为例，如果视频中待跟踪物体按静止不动，或者按照一定的规律运动时，那在当前帧便可以预测下一帧物体所在位置。但是实际中，物体的运动往往不是一成不变的，比如在视频中物体一直往右下角移动，但是移动的方向却或多或少有一定的变化，这种变化可以理解成一种随机噪声。因此需要找到一种随机估计方式，来估计系统

SVM能实现功能即在给出的正负样本中找到一条分割线（面），将正负样本分割出来。而这条分割线（面）即我们所说的分类器，其记录的正样本的特征，以及和负样本的区别。当有新的样本过来时，则通过和分类器比较即可分辨出新的样本是否属于正样本行列。 以车辆识别为例，SVM的一般使用步骤如下：1、获取正负样本。前面说了SVM能够找到一条存在与正负样本之间的分割线（面），那么何为正负样本呢？所谓

贝叶斯学习贝叶斯公式贝叶斯学习器其实是从经典的贝叶斯概率公式的来的，对于经典的贝叶斯公式： P(A|B)=P(B|A)P(A)P(B)P(A|B)={P(B|A)P(A)\over{P(B)}} 式中P(A)表示A的先验概率（即A发生的概率与B无关），P(A|B)表示A的后验概率（即在已知B发生的情况下，A发生的概率）朴素贝叶斯分类我们都知道贝叶斯是一个经典的求取概率的公式，那么贝叶斯又是怎么和

上一篇博客写了k-means聚类算法和改进的k-means算法，这篇博客就贴出对应的MATLAB和C++代码。以下是MATLAB代码，实现用k-means进行分割： %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% 功能：实现如何利用Kmeans聚类实现图像的分割； 时间：2015-07 %%%%%%%%%%%%%%%%%%%%%

KNN学习（K-Nearest Neighbor algorithm，K最邻近方法 ）是一种统计分类器，对数据的特征变量的筛选尤其有效。基本原理KNN的基本思想是：输入没有标签（标注数据的类别），即没有经过分类的新数据，首先提取新数据的特征并与测试集中的每一个数据特征进行比较；然后从测试集中提取K个最邻近（最相似）的数据特征标签，统计这K个最邻近数据中出现次数最多的分类，将其作为新的数据类别。 K

K-means聚类算法K-means（K均值）是基于数据划分的无监督聚类算法，也是数据挖掘领域的十大算法之一。 何为聚类算法？在某种程度上可以理解为无监督的分类方法。 聚类算法可以分为哪些部分？ 一般来说可以分为基于划分的方法、基于连通性的方法、基于密度的方法、基于概率分布模型的方法等。K-means就是经典的基于划分的聚类方法。1、K-means的基本原理对于基于划分的这一类聚类