Image Retargeting: Image Retargeting Using Multi-Map Constrained Region Warping (MM09)

论文：Image Retargeting Using Multi-Map Constrained Region Warping (MM09)
基于多地图约束区域扭曲的图像重定位

【ABSTRACT】:
本文提出了一种新的基于区域扭曲的图像重定位方法，该方法在减少图像整体视觉失真的同时，突出图像中具有重要内容的部分。
【流程】：
首先，将原始图像分解为均匀区域，并进一步用曲线边梯形网格表示。
然后，分别用视觉注意模型和加权梯度图计算了两种能量图：重要度图和敏感度图。利用网格表示和能量映射约束，将图像重定位问题转化为网格顶点重定位的约束优化问题。
最后，根据推导出的最优解分别对目标区域进行翘曲，生成目标图像。在不同图像上的实验证明了该算法的有效性和有效性。

【现有方法】：3类： 对象级重定目标、像素级重定目标和区域级重定目标。
1）：对象级重定位方法，包括裁剪和基于分割的重定位，将图像内容分割成对象和背景，只强调重要的对象。显然，它们的效果很大程度上取决于对象分割/检测的性能。
2）：像素级重定目标方法，如接缝雕刻和非均匀扭曲，将每个像素作为处理单元，并尝试使用约束优化算法保留更重要的像素。然而，它们存在图像结构失真和计算量大的问题。
3）：区域级重定目标方法将图像分割成一组区域，并分别缩放这些区域。与其他两类方法相比，区域级重定位比目标级重定位对图像分割的要求低得多，并且比像素级重定位更能保持图像的结构。然而，在现有的区域级重定目标方法中，鱼眼视图扭曲需要人工交互，可能会导致严重的失真，缩放和拉伸侧重于减少失真，但完全忽略了重要的内容强调，而网格参数化需要一个初步的非此即彼或判断来检测可能包含对象部分的网格，并在重定目标时严格保留这些检测到的网格。

【论文核心】：
该方法的核心是：用曲线边梯形网格表示原始图像，并将图像重定位作为网格顶点重新定位的优化问题。特别地，在优化过程中，利用多个能量图来约束重定目标性能的不同方面，得到了比使用单个能量图更好的性能。

【详细过程】：
图1展示了方法的概述。
首先，原始图像（图1（a））由基于区域分解的曲线边梯形网格表示（图1（b））。
然后，计算两种能量图，重要性图和灵敏度图（图1（c）），分别约束重要内容的强调和视觉失真的减少。在能量映射约束下，通过优化重新定位网格顶点来扭曲区域（图1（d））。
最后，根据扭曲结果生成目标图像（图1（e））。

【MeshRepresentation】网格表示：
首先，我们使用Mean-Shift算法将原始图像分解为均匀区域（图2（a））。对于每个区域，我们检测区域边界并将其分解为边段，其中点的y坐标单调变化。
如图2（b）所示，我们选择所有边缘段的端点和最左侧/右侧的局部点作为关键点（红色和黄色点）。对于图像内部的每个关键点（红色点），在最近的边段（蓝色点）或图像边界/边界（绿色点）上找到两个具有相同y坐标的辅助点。图像边界上的关键点（黄点）只有零个或一个辅助点。通过关键/辅助点和区域/图像边界，原始图像可以用曲线边梯形网格表示（图2（c））。
优点：
该方法的一个优点是在图像结构简单的情况下，可以大大降低重定目标的计算量。在图2（b）中，只需要重新定位10个网格顶点（红色点）。通过区域边界平滑可以进一步减少关键点的数目。另一个优点是通过关键点重新定位可以更好地控制区域边界的失真，而不是用小线段表示边界。