计算机视觉基元定义,纹理与基元（转中国莲花山计算机视觉和信息科学研究）...

b) 星型模式的 texton 模板

c) 基底如何组成星型图像 .

图 １. 星型模式从图像基底到 textons 的表达 (Zhu, Guo, Wu and

Wang 2002)

原始简约图

自然图象中既有纹理信息，又有结构信息，为了从图像中提取几何结构信息，马尔(

Marr )在他的表示框架中提出原始简约图( Primal Sketch )的概念作为中间表示层。这个表示层位于原始图像层和 2.5D

简约图( 2.5 Sketch )层之间，如图 3 所示。原始简约图在图像中以图像基元( image primitives

)的形式出现，如柄 ( bars )，边缘( edges )和终端结点( terminators )等。但是对于原始简约图，马尔(

Marr )虽然做了很多客观的描述，但是既没有给出任何显示的数学表示，也没有严格定义视觉基元( visual primitives

)的字典。

图 1. 马尔的表示框架

我们的研究为原始简约图给出了严格的数学理论，该理论分为四个组成部分：

( 1 )核心理论是将马尔可夫随机场( Markov Random Field， MRF

)和小波理论( wavelet theories )结合提出了自然图像的原始简约图模型；

( 2 )结合 matching pursuit 和 filter pursuit，提出了

sketching pursuit 算法，该算法能从自然图像中自动搜寻图像的原始简约图表示。

( 3 )定义了图像的可描画性( sketchability )；

( 4 )从图像的简约图表示学习出一个基元字典。

原始简约图模型有以下特点：

( 1 )通过计算可描画性( sketchability )的 sketching

pursuit 过程，自动将图像分为可描画( sketchable )部分和不可描画( non-sketchable

)部分，他们分别对应着图像中的结构和纹理；

( 2 )利用从自然图像中学习出来的视觉基元( visual primitives

)，通过一个类似小波的产生式模型对图像中的结构信息建模；

( 3 )利用描述式模型( MRF 模型)对图像中的纹理信息建模；

( 4 )利用格式塔( Gestalt )场(一种描述式模型)对结构的空间信息建模。

图2是原始简约图模型的一个实例

a). 输入图像

b). sketching pursuit 过程

c). 简约图

f). 合成图像

e). 合成纹理

d). 简约图图像

由主基元图到2.1维基元图

计算机视觉研究中低层视觉的一个主要研究方向是图像分割。由于一个场景中，不同的物体之间有不同层度的交叠，使得最理想的分割结果也会出现物体的不同部分(可视部分)之间分割开来，而不可视部分则为其它物体所覆盖的情况，这就不利于完整地展现物体。因此，有必要利用由图像得到的相关信息，如原始简约图(Primal

Sketch)、颜色一致性、方位一致性等，研究一套算法，把同一物体分在同一个层里面，然后再把它们相应的部分之间连接起来，组成完整的物体。这就是2.1D

Sketch的主要研究任务。

2.1D Sketch主要研究面物体，且不关心物体之间的深度信息，而只考虑它们之间的偏序关系(Partial

Order)。

2.1D Sketch的研究成果将会用于图像分割、图像编辑、艺术图像生成以及图像序列分析中。