【图像处理】Seam Carving for Content-Aware Image Resizing

摘要

高效的图像放缩还需要考虑图像的内容，作者提出的方法是一种称为seam carving的简单图像操作，可以实现content-aware的图像放缩。其中，seam是一张图像从上到下或从左到右上一条可选的八连接像素路径，由图像能量函数定义。通过不断地切开或连接seam，通过在各个方向应用这个操作可以将图像放缩到一个新的尺寸。seam的选择与顺序可以保留图像基于能量函数定义的内容。seam carving同样可以用于图像内容增强和物体移除。作者的方法支持各种定义能量图像的可视化评价方式，并且可以通过用户的输入进行引导。通过存储图像中seam的顺序作者创建了多尺度图像，能够实时作出持续的改变。

1、Introduction

如今各种呈像设备与方式五花八门，因此图像的放缩十分重要。然而一般的放缩往往是难以满足要求的，只考虑了对几何的限制。作者提出了一种简单的图像操作，即seam-carving，能够给予图像内容更好地考虑图像的结构。尽可能地删掉低能量部分，保留高能量部分。
作者还证明了其提出的方法可以用于纵横比、图像重定位、图像增强和物体移除。并且，通过加上seam移除和连接在纵横方向的顺序，作者定义了多尺度图像。这些图像可以通过考虑内容的方式持续的改变。
seam carving支持多种能量函数，例如梯度幅度、交叉熵、视觉显著性等。这些连接与移除是参数无关的。另外作者还提供了用户界面。
作者的主要贡献如下：

• 定义了seam carving并且展现了它的特性
• 呈现了通过seam连接的数据增强算法
• 使用seam用于content-aware的图像尺寸操作
• 微连续图像重定位定义多尺度图像

2、Background

3、The Operator

作者的方法是使用一种明断的方法来移除像素。因此，问题在于如何选择移除的像素。直观的，作者的目标是去除与周围环境融合的不可见像素。因此就有了下面比较简单的能量函数。

给定一个能量函数，假定我们需要降低图像的宽度。有很多策略来实现。例如，一个维持能量的最优的策略是通过升序来移除像素。这会损坏图像的矩形形状，因为我们可能在每一行移除不同数量的像素。如果想避免这个则需要在每一行移除相同数量低能量的像素。但是这样会产生锯齿效应。为了保持图像的形状和视觉一致性，可以使用自动裁剪。即寻找一个子