1、信息论在计算机视觉与模式识别中的应用

信息论在计算机视觉与模式识别中的应用

1. 信息论在CVPR中的重要性

计算机视觉和模式识别是极为重要的研究领域，有着广泛的应用，但同时也极具挑战性。尽管人类能轻松解读图像和检测空间模式，但实际上人类大脑可能将多达50%的皮层用于处理和解读图像。过去30年，研究人员一直在努力开发用于视觉和模式识别任务的计算机算法，目前虽未完全解决这些问题，但越来越明显的是，最终理论将在很大程度上依赖概率技术和信息论概念。

信息论与计算机视觉的联系早已被认识到。视觉可被视为一个解码问题，信息的编码由现实世界的物理过程完成，即光线照射物体并反射到相机或眼睛。科学家如Horace Barlow开创了理想观察者理论，用于计算视觉刺激中的可用信息量，并研究人类利用这些信息的效率。然而，此前尚未有人将这些工作整合到一个清晰的概念框架中。

2. 信息论元素在CVPR中的应用

如今，研究人员广泛利用信息论元素来解决计算机视觉和模式识别问题，这些元素主要包括以下几类：
- 度量 ：熵、互信息和Kullback - Leibler散度等是常见的度量，通常用作度量标准或优化准则。例如，在独立成分分析（ICA）中，寻找使输出独立性最大化的投影方向，等同于最小化它们的互信息。
- 原则 ：
- 最小描述长度（MDL）原则 ：由Rissanen提出，用于选择最简单的模型，即选择能充分解释数据的最短代码（或最少参数）。例如在区域分割问题中，在保证每个区域的统计特性能用较少参数解释的前提下，将图像划分为尽可能少的区域。
- 最小最大熵