沃·夏澈德的博客

用于描述各模式间的相似程度。在这里，特征点是矢量的失端。距离测度（差值测度）以两个矢量失端的距离作为的距离作为度量的的基础，是两矢量各相应分量之差的函数。欧式距离；其中x,y为两个矢量，d(x,y)为他们的距离（下文同）。实际中较多地使用欧氏距离，因为只有欧式距离具有平移和旋转不变性。绝对值距离切氏距离明氏距离可以看出上面几个分别是m=2，1，∞的特...

最小平方误差准则及W-H算法针对等式方程组                   建立二次准则函数。若X有逆，由上式可得.但通常运用最优化技术求解权矢量w。基于方程组，构造平方3误差准则函数显然，若,那么此时的J=minJ(w)=0；但是，如果有令不等的,则J(w)>0。当b给定后，可以采用最优化技术搜索J(w)的极小值点以求解等式方程组。如果方程组有唯一解，极小值点就是该...

这种方法它需要训练样本，但不用进行训练。总体比较好理解，不作详述最近邻法1-NN待识模式离得最近的训练样本是哪类就归为哪类。K-NN待识模式离得最近的k个训练样本哪类的多就归为哪类。剪辑最近邻法清理两类见的边界，去掉类别混杂的样本，使两类边界更清晰，此即剪辑最近邻方法。这种方法的性能在理论上明显好于一般的最近邻法。剪辑1-NN最近邻法将测试样本分为参照集和测试集...

此方法可用于非线性可分情况，也可用于线性可分情况。位势函数的概念：位势为0的等位线——判决界面（判别函数）对于两类问题w1，w2，认为    如果xw1，则x 带正电荷    如果xw2，则x 带负电荷将上述分类思想数学化，需定义点处的位势函数,它应该满足：= 是连续光滑函数 是与之间距离的单值单调下降函数。当且仅当x=时，达到最大值。当x与之间的距离趋于无穷大时，趋于零。...

感知器算法基本思想对初始的或者迭代中的增广权矢量w，用训练模式检验他的合理性，当不合理时，对其进行校正，校正方法实际上是最优化技术中的梯度下降法。算法步骤设定一个增广的训练模式集,其中每个模式类别已知，它们分属类和类。1.令步数k=1，增量为某正的常数，也可以取1/k，分别赋给初始增广权矢量w（1）的各分量较小的任意值。2.输入训练模式x，计算判别函数值.3.调整增广权...

基本思想将多维通过Fisher变换转化为利于分类的一维。实现步骤1.把来自两类的训练样本按类分开，记为{}2.求各模式的均值矢量mi3.计算各类的类内离差阵4.计算类内总离差阵5.计算的逆矩阵6.求最佳投影方向u7.得到Fisher变换函数8.计算变换后在一维y空间中各类先相应的模式的均值9.计算阈值10.对未知模式x判定...

在n维特征空间中，特征矢量,线性判别函数的一般形式是式中：称为权矢量或系数矢量。为简洁起见，上式还可以写成式中：，,其中x称为增广特征矢量，w成为增广权矢量。此时的增广特征矢量的全体称为增广特征空间。两类问题设d(x)为判别函数，待识模式增广特征矢量x可以通过下面判别规则进行分类等于0时可以任判或拒判。多类问题两分法这方法的基本思想是用判别函数将属于Wi...

这种算法特别适用与类的模式分布是条状或线状的情况。近邻函数对于两个样本xi与xj，如果xi是xj的第i个近邻点，则定义xi对xj的近邻系数为I，记为d（i，j)=l；同理d(j,i)=J。于是xi和xj之间的近邻函数值为：。显然样本间的近邻函数值越小说明它们越接近越相似。在这方法里用近邻函数值来表示连接损失（表示两个样本是否适合合并）。算法思想同过迭代合并初始的分类，令类间的最...

该算法的结果受取定的类数，聚类的初始中心为止影响，在实际中需测探不同的c值以及选择不同的聚类中心初始值以得到较好的结果。如果模式分布呈现类内团聚状，该算法能得到很好的聚类结果。条件与约定           设待分类的模式的特征矢量为{},选定类的数目为c。算法思想该方法取定 c个类别和选取 c个初始聚类中心，按最小距离原则将各模式分配到 c类中的某一类，之后不断地计算类心和调整各...

基于相似性阈值和最小距离原则的简单聚类方法这种方法的中心一旦选定则不会变换。根据相似性阈值和最小距离原则的简单聚类方法显然，结果很大程度依赖于T的选取，和待分类特征矢量参与分类的次序的选取。条件与约定设待分类的模式的特征矢量为{},选定类内距离门限T。算法思想计算特征矢量到各聚类中心的距离，与T作比较，从而决定归为哪一类或作为新的一类的中心。算法步骤任意选取一个...

判别分类结果好坏的一般标准：类内距离小，类间距离大。类内的准则函数设有待分类的模式集   在某种相似性测度基础上被划分为C类，类内距离准则函数定义为:(表示类的模式均值矢量。)我们的目标是令取最小，这种准则也称为误差平方和准则。显然，在样本集{}和类数给定的条件下，的值取决于模式类别的分划与类心的选取。还可以视情况使用加权类内距离准则。类间距离准则式中：...

最近距离法式中：为和之间的距离最远距离法中间距离法值会介于最近和最远距离之间。重心距离法np,nq分别为类wp和wq的样本个数平均距离法离差平方和法为类的的类内离差平方和、分别为对应类的重心   ...

一些概念和符号的定义表示类出现的先验概率。表示x出现条件下出现的概率，称为类别的后验概率，换言之就是x来自类的概率。表示在 类的条件下x的概率分布密度，即类模式x的概率密度，简称类概密。最小误判概率准则判决的一般形式对于两类问题显然这里可能会出现两种，一种是把实属w1类的模式判属为w2类，原因是这个模式在特征空间中散布到D2中，从而导致误判，这时的误判概率为：同理：...