可穿戴设备图像重定向方法

可穿戴设备的图像重定向

朱瓦兰特·巴特2,迪普蒂·帕普塞蒂1,哈里·卡尔瓦1,和梅胡尔·奈克2
1美国佛罗里达州博卡拉顿佛罗里达大西洋大学多媒体实验室
2印度尼尔马大学学
12bic005@nirmauni.ac.in, dpappuse@fau.edu, hari.kalva@fau.edu, mehul.naik@nirmauni.ac.in

摘要

可穿戴设备上的小型显示屏在呈现图像方面带来了新的挑战。为移动设备开发的图像重定向方法通常假设屏幕较大，因此并不适用。本文报告了针对可穿戴设备的新型图像重定向方法。该方法的关键在于识别并展示感兴趣区域，使用户能够理解图像的内容和上下文。该系统已在安卓手表上实现并进行了评估。主观评估结果表明，所提出的方法有效且提升了用户体验。

一、引言

可穿戴计算机是小型的随身携带的计算和传感设备，例如智能手表和智能眼镜[1]。像智能手表这样的设备用途远不止于计时。它们配备了丰富的传感器和应用程序，能够以新的方式呈现信息并对手势做出响应。可穿戴设备的主要优势在于能够即时且隐蔽地向用户呈现信息。

此类设备的主要限制之一是显示屏尺寸。小型显示屏不适合以幻灯片等传统方式展示图片。社交网络应用广泛使用照片分享，而在可穿戴设备上显示这些照片则是用户体验的自然延伸。这些图像必须在可穿戴设备配备的小屏幕上进行显示。

可穿戴设备（如手表）通常与手机配合使用，用于展示从手机接收到的信息。目前可穿戴设备上的图像浏览工具功能有限。例如，安卓设备上的原生图像展示应用会裁剪图片的中心区域，以适应手表的布局（如圆形与矩形布局）。这种展示方式会丢失图片中心以外的细节。此外，在适配布局时并未考虑图像内容本身。同时，可穿戴设备显示屏的形状在决定图像显示布局方面起着重要作用。因此，当图像被裁剪和缩放以适应特定布局时，其完整性受到损害。人脸检测、显著性检测等算法在可穿戴设备上并不实用，因为可穿戴设备并非为执行此类计算任务而设计。此外，可穿戴设备的电池限制也决定了图像展示所需的计算必须在手机上完成。

可穿戴设备有各种不同的尺寸和形状。佩戴在手腕上的智能手表可以从任意一侧查看，可能与用户的视角平行或垂直。但图像并不总是以用户舒适的方式呈现。可穿戴设备中的磁力计传感器可用于确定方向。

为了克服这些挑战，我们提出了一种针对可穿戴设备的图像重定向新方法。该方法的关键在于识别并呈现图像中能够使用户理解其内容和上下文的区域。我们还在安卓平台上对所提出的方法进行了评估。

II. 相关工作

Setlur et. al. 报道了一种图像重定向方法，该方法将图像中的重要物体进行分割、缩放，然后重新粘贴到背景上，以使图像适应手机设备[2]。但这些手机设备的显示屏幕相比可穿戴设备更大。此外，如果检测到多个物体，则在可穿戴设备的显示屏上没有足够的空间同时查看它们。可以使用自动浏览来在可穿戴设备上显示图像窗口[4]。现有文献主要关注针对手机设备的图像重定向，这些设备虽然较小，但本质上是微型计算机。而可穿戴设备具有小尺寸显示屏幕和有限的计算能力，为手机设备开发的图像重定向方法无法直接适用于可穿戴设备。

每当我们 glance 某物时，我们有意识关注的只是实际所见的一部分。眼动追踪研究为理解各种视觉注意力模式提供了基础[5]。例如，注视点和扫视提供了用户注意力分布位置的信息。热图可视化突出显示观察者在图像上注视的区域。视线图或扫描路径展示了在被观察的图像或视觉场景上注视点和扫视的运动顺序和位置。我们目前正在致力于引入视觉注意力模型，以改进可穿戴设备的图像重定向。

III. 提出的方法

已有多种视觉注意力和特征提取模型被提出，以向用户提供图像关键特征的有效呈现方式。在本研究中，我们希望在可穿戴设备等微型设备上测试这一问题。当前的问题是：在可穿戴设备上提取感兴趣区域（ROIs）并进行显示，是否能够提供用户所需的关键信息？用户更倾向于逐片查看关键信息的外观与感受，还是即使图像被裁剪和缩放以适应显示，仍更愿意一次性查看完整信息？

本研究仅限于社交媒体上分享的照片的重定向媒体应用程序。这类图像通常包含人物。众所周知，面部会吸引人类视觉注意力[6]。在我们的初步实验中，我们将面部视为主要的感兴趣区域。因此，我们采用人脸检测算法作为提取感兴趣区域的主要方法。

所提出的方法包括图像获取、使用合适的算法进行图像处理以提取感兴趣区域、布局匹配以及将其转移到佩戴设备上。图1 表示了该方法的整体流程。

第一步是将图像获取到运行在手持设备上的应用中。图像可以通过摄像头实时拍摄，也可以从图库或其他应用和服务中获取。下一步是从图像中提取信息。我们的主要目标是防止由于可穿戴设备的布局导致感兴趣区域（ROI）被裁剪。市面上有圆形和方形智能手表，根据其形状的不同，图像必须被修改以适应布局，同时不丢失信息。

在安卓中，通过定义资源（即较大的数据块）将图像从手机传输到可穿戴设备。可穿戴设备的内部存储器容量有限，因此很难将整个图库加载到可穿戴设备上。单张图像可以顺序地传输以在安卓可穿戴设备上显示。

如果图像非常大，不方便显示整个图像，即图像包含多个感兴趣区域（如面部），则可将图像分割成片段，并在佩戴设备上以幻灯片形式显示。图像的切换可以是自动的，也可以通过滑动控制。诸如浏览图像之类的任务可以根据当前可用的浏览大图片方法高效地进行[4]。例如，图2(a)显示了包含多个物体的图像，图2(b)展示了我们提出的以顺序方式显示信息的方法。该信息可以以幻灯片形式或平移方式呈现。这些幻灯片之间的切换顺序和类型可根据需要进行更改。例如，可以设置按年龄排序。

. 包含多张面部的图像)
. 在可穿戴设备上显示的幻灯片)

IV. 评估

在手持设备上开发了一个应用，用于修改图像并在可穿戴设备上显示。图像处理通过在应用中集成OpenCV库版本2.4.11实现。结果在摩托罗拉Moto 360和LG智能手表上生成。

预处理后，为了渲染图像，我们考虑了三种不同方法，其中两种由我们设计，另一种是手表上显示图像中心的默认图像展示方法。第一种方法中，从最左侧检测到的面部/感兴趣区域开始显示，然后以一定速度向右平移，以显示整张图片。使用人脸检测算法识别最左侧的第一个面部/感兴趣区域，裁剪后作为单独图像发送至可穿戴设备。由于初始实验采用线性平移方式，图像按顺序且线性的方式进行裁剪，并以一定速率作为独立图像发送，从而产生连续平移效果的感觉。目前我们正在研究基于视觉注意力模型的路径，用于平移和缩放，作为另一种呈现方式。第二种方法检测单个面部，并以幻灯片形式展示。使用人脸检测算法检测各个面部，裁剪后作为不同的图像以相等的时间间隔发送至可穿戴设备进行显示。第三种方法基于大多数现有图库所使用的中心偏向检测。在本文其余部分，我们将这三种方法分别称为方法A（沿感兴趣区域平移和缩放）、方法B（感兴趣区域幻灯片）和方法C（默认中心偏向查看）。

. 原始图像)
. 默认中心偏置视图)
. 基于所提方法处理后)

我们选择了5张测试图像，如图4所示。在此初步研究中，我们选择了图像中不同的人数组合。所有五张图像的像素尺寸均在(300‐1200) × (500‐1000)范围内。共有6名参与者对图像进行了主观评分。所有参与者来自佛罗里达大西洋大学，其年龄介于22至41岁之间。所有受试者均以相同顺序观看图4中所示的五幅图像。评估以面对面、一对一的方式进行。

所有参与者都被要求对以下4个问题进行主观评价：

1. 方法A的图像对实际图像的呈现效果如何：好，无差异，差
2. 方法B的图像对实际图像的呈现效果如何：好，无差异，差
3. 您更倾向于哪种方法：方法A：过渡，方法B：幻灯片，方法C：传统中心偏置
4. 关于所提出的新方法有任何意见或建议吗

所得结果如表1和表2所示。结果清楚地表明，在可穿戴智能手表设备上测试时，方法A优于其他两种方法。在64%的受试者中，方法A比方法B更受青睐（表1）。偏好依赖于内容，但方法A仍优于其他两种方法（表2）。

表1. 问题1和问题2的评估结果

方法	图像编号	Good	无差异	Bad
A	图像1	66.7%	0.0%	33.3%
	图像2	66.7%	33.3%	0.0%
	图像3	66.7%	0.0%	33.3%
	图像4	66.7%	33.3%	0.0%
	图像5	66.7%	33.3%	0.0%
B	图像1	33.3%	33.3%	33.3%
	图像2	33.3%	33.3%	33.3%
	图像3	33.3%	33.3%	33.3%
	图像4	33.3%	33.3%	33.3%
	图像5	33.3%	33.3%	33.3%

本研究中注意到一些有趣的用户偏好。一些用户更倾向于看到“更多信息”而非“外观和感觉”，而少数其他用户则偏好相反。在图像1和图像5的情况下，方法1和方法2表现出明显的偏好，因为传统中心偏置方法裁剪了图像，导致信息无意义。对于测试图像2、3和4，幻灯片并未受到用户欢迎，因为它仅显示了面部，而实际的内容和上下文在展示中并不清晰。方法1优于另外两种方法的两个原因是：（i）它提供了关键信息；（ii）它还通过过渡在最后提供完整信息。这种方法的缺点是用户需要花费时间才能获取完整信息。

V. 结论

本文中，我们测试了两种在可穿戴设备上表示图像的不同方法。我们还提出将主要计算任务转移到手机设备上，而在可穿戴设备上进行最少的处理，以改善用户体验并降低电池消耗。主观评估结果表明，与默认的缩放‐裁剪‐适配方法相比，用户更倾向于本文提出的方法。通过基于内容和视觉注意力的模型可以提升用户体验。