燃烧的舞步

1，线性分类器主要优点是他们的简化和计算吸引力。    2，线性判别函数和决策超平面。    3，感知器算法    4，最小二乘法：均方误差估计；随机近似和LMS算法；方差和估计；    5，均方估计回顾：均方误差回归；MSE估计后验概率；Bias-Variance困境    6，逻辑判别    7，支持向量机：可分类别；不可分类别；多类情形；V-SVM; 支持向量机:几何

本章是监督学习的最后一部分，主要有三个目标。  首先，根据系统的分类错误概率来评估系统性能。    其次，将整个系统设计的各个阶段组合到一起。    最后，引入无标签数据，简单介绍半监督学习1，ERROR-COUNTING方法2，探求有限的数据集的大小3，一个医学图像的学习案例4，半监督学习：生成模型（generative model）;基于图的方法（graph-bas

本章的假设前提是不同类之间存在相关性。连续的特征向量不是孤立的。    1，贝叶斯分类器    2，马尔科夫链模型    3，the viterbi algorithm    4, 信道均衡（channel equalization）:任务是回复被传输通道或者噪音破坏的信息序列。5，隐式马尔科夫模型6，带状态持续模型（state duration model）的HMM

对语音识别来讲，同一个单词被同一个人每次说的情况都不同，给识别带来苦难。本章讨论的就是对不同的情形如何定义适应不同特性的度量。1，基于最优路径搜索的度量：①贝尔曼最优性原则和动态编程②编辑距离（The Edit Distance）③在语音识别动态时间扭曲（DTW）, speaker-dependentrecognition. speaker-independentrecognition.2

本章将关注图像分析领域的feature generation.1,区域特征：①纹理特性②局部线性变换提取纹理特征③矩④参数模型2，形状和尺寸特征：①傅里叶特征②链式编码，它是边界形状描述最常用的技术③基于矩（moment）的特征④几何特征3，分形（A GLIMPSE AT FRACTALS）    1980年代有两个重要工具被引入模式识别应用领域：神经网络和

1. 模式识别相关领域①  Machine vision，② Character (letter or number)recognition—>Optical character recognition (OCR) systems       OCR系统3种典型应用：machine reading of bank checks； automatic mail-sorting machi

1，引言有关模式识别的一个主要问题是维数灾难。我们将在第7章看到维数很容易变得很大。    降低维数的必要性有几方面的原因。计算复杂度是一个方面。另一个有关分类器的泛化性能。    因此，本章的主要任务是：在尽可能保留特征的分类判别信息前提下，来选择重要的和维数少的特征量。这个过程被称作特征选择或者特征降维。    定量描述来讲，选择的特征应该使得类内距离减小，类间距离增大。

1，Exclusive OR（XOR）Booleanfunction问题布尔量AND和OR是线性可分的2，两层感知器    对Figure4.1中A类和B类，首先能想到的是画两条直线。如图Figure4.4.①
     两层感知器的分类能力3，三层感知器4，基于训练集精确分类的算法

1，单值分解：线性代数的重要部分，已经被广泛用于模式识别中的降维和信息检索应用中。2，独立成分分析3，非负矩阵分解4，非线性降维算法：① kernel PCA②基于图的方法（拉普拉斯算子，Local LinearEmbedding (LLE)，Isometric Mapping (ISOMAP)）5，离散傅里叶变换6，离散cos和sin变换7，THEHADAMARD TRA

本章的主要工作在基于训练集的特征向量，估计概率密度函数。1，贝叶斯决策理论    条件概率公式。其中P（w）为先验概率，P(x|w)为类条件概率密度

一，引言之前几个章节讨论的都是监督聚类，从本章开始讨论非监督聚类，即训练模式不带标签的情形。    聚类的步骤：1，特征选择。选取最能够表示我们目标物体信息的特征。2，相似性度量。给出两个特征量相似点或者不想似的地方。3，聚类标准。聚类标准。可能由损耗函数（cost function）或者其他形式表达。4，聚类算法。根据相似性度量和聚类标准，阐明数据的结构。5，