虚拟现实中的草图检索

虚拟现实中用于草图检索的混合现实

达尼埃莱·琼基伦敦 大学学院英国 斯图尔特·詹姆斯文化遗产技术中 心意大利技术研究院意大利

唐纳德·德格伦德国人工智能研究中心（DFKI） 萨尔兰信息学园区德国 安东尼·斯蒂德伦敦 大学学院英国

用摘户要

在虚拟环境中经常需要设计周围的环境，并在保持沉浸感的同时查找相关内容。我们聚焦于熟悉的基于草图的交互方式，以支持内容放置过程，并特别研究平板电脑或桌面设备上的交互如何转化为虚拟环境中的操作。为了理解虚拟环境中的草图绘制交互，我们比较了不同的草图交互方法，即三维空中绘图、在虚拟平板上进行二维草图绘制、在固定虚拟白板上进行二维草图绘制，以及在真实平板上进行二维草图绘制。用户始终保持在环境中沉浸，并查询包含详细三维模型的数据库，然后将这些模型替换到虚拟环境中。我们的结果表明，三维空中绘图被认为是一种更直观的搜索模型集合的方法；而引入物理设备由于其在虚拟环境中的集成复杂性，反而造成了混淆。尽管我们将本研究作为椅子三维模型的检索问题提出，但我们的结果可推广至其他面向虚拟环境的草图绘制任务。

CCS概念

以人为中心的计算虚拟现实;人机交互设计与评估方法;计算方法→物体识别;排序.

关键词

草图，虚拟现实，卷积神经网络（CNN），人机交互

ACM引用格式：

达尼埃莱·琼基、斯图尔特·詹姆斯、唐纳德·德格伦和安东尼·斯蒂德。2019年。虚拟现实中的草图检索混合现实技术。收录于第17届国际虚拟现实连续性及其工业应用会议（VRCAI’19），2019年11月14–16日，澳大利亚昆士兰州布里斯班。美国计算机协会，美国纽约州纽约市，2页。
https://doi.org/10.1145/3359997.3365751

允许出于个人或课堂教学目的，免费制作本作品全部或部分内容的数字版或印刷版副本，但前提是不得为盈利或商业利益而制作或分发这些副本，且所有副本均须在首页注明本声明及完整引用信息。对于本作品中由非美国计算机协会（ACM）拥有版权的部分，必须尊重其版权。允许在注明出处的前提下进行摘要引用。如需以其他方式复制、重新发布、上传至服务器或分发至列表，则必须事先获得特定许可和/或支付费用。请向permissions@acm.org申请许可。VRCAI’19,2019年11月14日至16日,澳大利亚昆士兰州布里斯班©2019计算机协会。ACMISBN978‐1‐4503‐7002‐8/19/11…15.00美元
https://doi.org/10.1145/3359997.3365751

引言

虚拟现实（VR）中的草图绘制允许用户在3D虚拟空间中设计和创建物体。为了帮助用户创建复杂的3D设计，现有方法通常借助检索算法，通过搜索模型数据库，根据用户绘制的简单草图来查找复杂设计。常见的方法可分为两类：一类侧重于手势交互[Deering 1995]，另一类则是允许在2D[Fonseca等人 2004]或3D空间[朱因基等人 2018]中自由绘制草图的技术。手势交互技术广泛用于在设计空间中作为触发机制执行操作或描绘简单轨迹。尽管手势通常易于使用，但它们通常不适合描述物体的细节特征。然而，无论是2D还是3D草图，都能够使用户传达包含细节的复杂结构。这些技术将可设计范围扩展到具有显著形状、颜色和纹理差异的大量对象集合中。

尽管人们对基于草图的检索方法日益关注[裴等，2016；庞等， 2019；Qi等 2016],，但仅有少数示例应用于虚拟现实[詹基等，2018； Li等 2016]。原因在于草图描述能否充分表达模型，以及用户是否能够自信地描绘结构或精细细节元素。朱因基等人[Giunchietal. 2018]先前的工作利用多视角CNN来解决第一个问题，并为第二个问题引入了在虚拟现实中的模型上绘图。然而，理解不同的交互方法如何影响用户表现和用户体验至关重要。我们进行了一项研究，以了解用户在检索上下文中如何与物理和虚拟设备交互。我们的工作探讨了用户在虚拟环境中为基于草图的检索算法提供初始草图设计的不同技术。

2交互方法

我们提出了4种不同的交互方法（见图1），这些方法在使用2D或3D交互以及物理设备时有所不同，用户沉浸于3D环境中。

• 3D空中草图绘制 ：用户通过移动控制器上按下的扳机键进行手绘笔画。这些空中笔画随后用于搜索集合。
• 2D在VR平板电脑上绘制草图 ：我们模仿了一种自然的草图绘制方式，但在虚拟环境中，一个2D虚拟面板附着在用户非主手控制器上，参考了艺术家熟悉的草图绘制风格。
• 2在VR白板上绘制草图 ：白板方法提供了一个面板，用户可以在其上进行2D草图绘制。白板技术将平板电脑的尺寸扩展为更大的白板，以提供更多的绘图空间，并将其置于固定位置。
• 2在物理平板电脑上进行草图绘制 ：使用现实世界的平板电脑（三星 GalaxyTabA10.1英寸）可以让用户获得触觉反馈，从而无需使用控制器即可进行2D草图绘制。

2.13D集合与模型检索

ShapeNet[Wu等人 2015]数据集为不同类别的物体提供了大量的模型集合。我们专注于包含3370把具有颜色或纹理的独立椅子的椅子类别。为了进行草图检索，我们采用了[朱因基等人 2018]的架构。该方法通过生成一组相机视角，然后将这些视角输入卷积神经网络（CNN），并将其结果求和以获得查询的最终描述符。该查询描述符随后用于搜索ShapeNet模型集合，并识别出40个最相关的模型。对于基于单视角的方法，我们直接使用卷积神经网络（CNN）的输出，而不对多个视角的结果进行求和。

3评估

我们在每位参与者面前展示了8种不同的椅子，并针对4种方法在返回模型的准确性、时间和完成任务所需的查询次数方面进行了评估。为了评估准确性，我们统计了成功搜索次数占总搜索次数的比例，此外还测量了从搜索开始到结束所经过的时间。3D草图的成功任务完成次数为40次中的37次（92.5%），使用白板的二维草图为40次中的9次（22.5%），使用虚拟平板的二维草图为40次中的6次（15%），使用真实平板的二维草图为40次中的5次（12.5%）。三维草图的平均用时为71秒，使用白板的二维草图为156秒，使用虚拟平板的二维草图为169秒，使用真实平板的二维草图为166秒。尽管所有方法都具有直观性，但三维草图在准确性和用户体验方面更优。在三维草图的情况下，用户能够更自然地描绘目标椅子，并保留深度信息，而在其他所有方法中，用户仅绘制三维物体的2D投影，这对大多数用户来说具有挑战性。虽然真实平板方法引入了物理反馈，但其固定位置似乎并未显著提升用户体验。尽管徒手方法可能更具吸引力，但它带来了配准挑战并增加了延迟。此外还观察到，在用户执行的32次搜索中，他们不断优化策略，逐步学会利用描述符的优势与弱点，从而随时间提高了搜索效率。二维草图缺乏效率的问题损害了用户体验。二维绘图过程受限于持续寻找能够触发正确系统响应的特征。

4结论

我们在沉浸于虚拟环境的同时，研究了3D和2D草图在数据库导航中的应用。本研究填补了一个空白：传统方法是否可以移植到虚拟环境中，以促进高效的搜索或设计任务。我们的研究比较了在虚拟现实中使用三维草图、二维草图、平板电脑、白板以及使用物理平板的方法。我们发现，在2D方法中，提供物理平板并未改善用户体验。而尽管3D草图绘制直观性较低，但它提供了最佳的用户体验，并克服了基于2D方法的熟悉度优势。我们认为三维空中绘图是VR检索及相关任务中的一个合适方向。