【学习笔记】Structured Learning and Prediction in Computer Vision - 1

Book info

Structured Learning and Prediction in Computer Vision

Authors: Sebastian Nowozin and Christoph H. Lampert

Link: http://www.nowozin.net/sebastian/papers/nowozin2011structured-tutorial.pdf

Introduction

Computer Vision 是什么？
通过获取图像高层次信息来感知图像数据的自动化系统

输入输出、辅助变量、模型定义？
输入（observation variables）：图像数据，e.g. 自然图片，卫星图片等。
输出（output variables）：高层次信息，e.g. 物理信息，物体类别信息等。
辅助变量（auxiliary variables）：非必要变量。
模型：定义了变量间的关系（interaction）。

Structured model 是什么？

Structured models allow a large number of variables and interactions, leading to rich models that are able to represent the complex relationships that exist between the image data and the quantities of interest.

个人理解，结构化模型能够处理大量的变量和关系，能够表达出图像信息与高层次信息间的复杂关系。

An Example: Image Segmentation

书中举了一个语义分割的例子。具体任务是区分图片的前景和后景。

输入变量 $x \in X$，每个 $x$ 代表了一整张图片；输出变量是针对每个像素 $i$，都有 $y_i \in \{0,1\}$。当 $i$ 属于前景时，$y_i=1$，反之 $y_i=0$ 。

接下来定义变量间的关系（interactions）。根据以下两大原则：

• 从单个点考虑，假设一个局部模型 $g_i(y_i,x)$，仅与单个像素点$i$ 有关。如果图片 $x$ 中，像素 $i$ 看起来像是前景物体，$g_i(1,x)$ 会得到一个很高的值。反之则得到较低的值。

• 从局部一致性考虑，引入了一个代表像素间关系的项