模式识别与智能计算随记

    统计模式是被主要研究的问题有：特征的选择与优化、分类判别、聚类判别。

    模式识别的基本计算框架——制定准则函数，实现准则函数极值化。常用的准则有以下几种：1）最小错分准则，完全以减少分类错误为原则；2）最小风险准则，宁肯扩大一些总的错误率，但也要使总的损失减小；3）近邻准则，是分段线性判别函数的一种典型方法，主要依据同类物体在特征空间具有聚类特性的原理；4）Fisher准则，如何找到最好的直线方向以及如何实现向最好方向投影的变换是这个算法要解决的基本问题；5）感知准则，以使错分样本到分界面距离之和最小为原则；6）最小均方误差准则，LMSE算法以最小均方误差作为准则。

    模式识别有多种方法：模板匹配法、判别函数法、神经网络分类法、基于规则推理法等的。

    特征空间描述，一维特征：均值、方差（数据取值的分散性）、标准差、k阶原点矩、k阶中心矩、偏度（刻画数据对称性的指标）、峰度。二维特征：观测矩阵的均值向量、方差、协方差矩阵、观测数据的相关系数。

    计算模式相似性测度有欧式距离、马氏距离、夹角余弦距离、Tanimoto测度等多种距离算法。原理上说近邻法是最简单的，但是近邻法有一个明显的缺点就是计算量大、存储量大，要存储的模板很多，当每个测试样品要对每个模板计算一次相似度时，所需的计算时间相对其他方法多一些。

    类内距离是指同一个类内任意样品之间距离之和的平均值。

    类与类之间的距离，最短距离法，规定两个类内相距最近的两个点之间的距离为两类的距离。最长距离法，规定两个类间相距最远的两个点之间的距离为两类的距离。重心法，求各类中所有样品的平均值作为类的重心，用两类的重心间的距离作为两类的距离。平均距离法，计算两类之间的所有样品的距离，求和，取距离的平均值作为两类间的距离。

    基于概率统计的贝叶斯分类器设计：基于最小错误率的贝叶斯决策、基于最小错误风险的贝叶斯决策。

    判别函数分为线性判别函数和非线性判别函数。最简单的判别函数是线性判别函数，它是由所有特征量的线性组合构成的。

增量校正算法。

    LMSE(Least Mean Square Error)算法是对准则函数引进最小均方误差这一条件而建立起来的。这种算法的主要特点是在训练过程中判定训练集是否线性可分，从而可对结果的收敛性做出判断。