2、信息论在计算机视觉与模式识别中的应用概览

信息论在计算机视觉与模式识别中的应用概览

1. 熵估计与问题驱动的阐述

在计算机视觉和模式识别领域，除了常用的度量、原则和理论外，还有一个重要的维度需要探索，即熵的估计。熵是信息论中的基本量，许多其他度量，如互信息、Kullback - Leibler散度等，都源于熵。熵的估计方法主要有两种极端情况：插入法，即先估计概率密度再计算熵；旁路法，即直接估计熵。例如，高斯分布是所有具有相同方差的分布中熵最大的分布，这一特性在高斯混合模型（常用作分类器）和独立成分分析（ICA）方法中起着关键作用。

在阐述信息论元素和熵估计方法时，采用了按问题复杂度递增的方式，涵盖了兴趣点和边缘检测、轮廓分组和分割、图像和点匹配、图像和模式聚类、特征选择和变换以及分类器设计等内容。这种阐述方式避免了在引言部分过多涉及数学形式，而是在解决每个问题时引入相应的数学元素，方便不同背景的读者理解。

2. 兴趣点和边缘检测

兴趣点和边缘检测是计算机视觉中的基础任务。一种新的显著性定义涉及计算像素邻域内的强度信息含量以及该信息在不同尺度上的演变，信息通过熵来量化。然而，这种方法的瓶颈在于尺度空间分析以及将其扩展到仿射不变情况或多维情况时所需的大量计算，这在用于图像匹配时尤为关键。

当有图像类别的信息时，可以显著降低计算成本。为此，引入了Chernoff信息和Bhattacharyya系数等概念，这些概念源于将边缘检测作为统计推断问题的表述。这种方法在评估边缘模型、评估和组合线索（滤波器）以及数据集（图像类）之间的适应方面具有重要意义。此外，还介绍了在存在显著杂波时的边缘连接问题以及基于类型方法的解决方案。

3. 轮廓和区域分割

轮