Cherish__it的博客

模式识别的目的就是要确定某一个给定的模式样本属于哪一类。可以通过对被识别对象的多次观察和测量，构成特征向量，并将其作为某一个判决规则的输入，按此规则来对样本进行分类。       在获取模式的观测值时，有些事物具有确定的因果关系，即在一定的条件下，它必然会发生或必然不发生。例如识别一块模板是不是直角三角形，只要凭“三条直线边闭合连线和一个直角”这个特征，测量它是否有三条直线边的闭合连线并有一个直角

特征选择和提取是模式识别中的一个关键问题：前面讨论分类器设计的时候，一直假定已给出了特征向量维数确定的样本集，其中各样本的每一维都是该样本的一个特征；这些特征的选择是很重要的，它强烈地影响到分类器的设计及其性能；假若对不同的类别，这些特征的差别很大，则比较容易设计出具有较好性能的分类器。特征选择和提取是构造模式识别系统时的一个重要课题：在很多实际问题中，往往不容易找到那些最重要的特征，或受客观

目的用势函数的概念来确定判别函数和划分类别界面。基本思想假设要划分属于两种类别ω1和ω2的模式样本，这些样本可看成是分布在n维模式空间中的点xk。把属于ω1的点比拟为某种能源点，在点上，电位达到峰值。随着与该点距离的增大，电位分布迅速减小，即把样本xk附近空间x点上的电位分布，看成是一个势函数K(x, xk)。对于属于ω1的样本集群，其附近空间会形成一个“高地”，这些样本点所处的位

感知器算法只是当被分模式可用一个特定的判别界面分开时才收敛，在不可分情况下，只要计算程序不终止，它就始终不收敛。即使在模式可分的情况下，也很难事先算出达到收敛时所需要的迭代次数。这样，在模式分类过程中，有时候会出现一次又一次迭代却不见收敛的情况，白白浪费时间。为此需要知道：发生迟迟不见收敛的情况时，到底是由于收敛速度过慢造成的呢，还是由于所给的训练样本集不是线性可分造成的呢？最小平方误差(

梯度是一个向量，它的最重要性质就是指出了函数f在其自变量y增加时最大增长率的方向。负梯度指出f的最陡下降方向利用这个性质，可以设计一个迭代方案来寻找函数的最小值。梯度法定义：设函数f(y)是向量y = (y1, y2, …, yn)T的函数，则f(y)的梯度定义为： 采用梯度法求解的基本思想对感知器算法式中的w(k)、xk随迭代次数k而变，是变量。定义一个对错误

基本思想 采用感知器算法(Perception Approach)能通过对训练模式样本集的“学习”得到判别函数的系数。这里采用的算法不需要对各类别中模式的统计性质做任何假设，因此称为确定性的方法。

应用统计方法解决模式识别问题时，一再碰到的问题之一就是维数问题。在低维空间里解析上或计算上行得通的方法，在高维空间里往往行不通。因此，降低维数有时就会成为处理实际问题的关键。

广义线性函数基本思想设有一个训练用的模式集{x}，在模式空间x中线性不可分，但在模式空间x*中线性可分，其中x*的各个分量是x的单值实函数，x*的维数k高于x的维数n，即若取x* = (f1(x), f2(x), …., fk(x)), k>n；则分类界面在x*中是线性的，在x中是非线性的，此时只要将模式x进行非线性变换，使之变换后得到维数更高的模式x*，就可以用线性判别函数来进行分类。

线性判别函数和广义线性函数     用判别函数分类的概念：模式识别系统的主要作用；判别各个模式所属的类别对一个两类问题的判别，就是将模式x划分成ω1和ω2两类。两类问题的判别函数（以二维模式样本为例）若x是二维模式样本x = (x1 x2)T，用x1和x2作为坐标分量，得到模式的平面图：这时，若这些分属于ω1和ω2两类的模式可用一个直线方程d(x)=0来划分d(x) = w1x1 + w2x2 +

均值向量和协方差矩阵的参数估计       一种是将参数作为非随机变量来处理，例如矩估计就是一种非随机参数的估计。另一种是随机参数的估计，即把这些参数看成是随机变量，例如贝叶斯参数估计。均值和协方差矩阵的非随机参数的估计均值和协方差矩阵的估计量定义设模式的类概率密度函数为p(x)，则其均值向量定义为：其中，x = (x1, x2, …, xn)T，m = (m1, m2, …, mn)T。若以样本

正态分布模式的贝叶斯分类器      当已知或者有理由设想类概率密度函数P(x|ωi)是多变量的正态分布时，上一节介绍的贝叶斯分类器可以导出一些简单的判别函数。由于正态密度函数易于分析，且对许多重要的实际应用又是一种合适的模型，因此受到很大的重视。      M种模式类别的多变量正态类密度函数–判别函数是一个超二次曲面。–对于正态分布模式的贝叶斯分类器，两个模式类别之间用一个二次判别界面分开，就可

全称：Karhunen-Loeve变换（卡洛南-洛伊变换）前面讨论的特征选择是在一定准则下，从n个特征中选出k个来反映原有模式。这种简单删掉某n-k个特征的做法并不十分理想，因为一般来说，原来的n个数据各自在不同程度上反映了识别对象的某些特征，简单地删去某些特征可能会丢失较多的有用信息。如果将原来的特征做正交变换，获得的每个数据都是原来n个数据的线性组合，然后从新的数据中选出少数几个，使其尽可能多