23、虚拟现实中交互式图像聚类与神经网络微调演示

虚拟现实中交互式图像聚类与神经网络微调演示

1. 引言

神经网络在理解其底层决策过程和学习表示方面，缺乏所需的可解释性和透明度。对于模型开发者来说，弄清楚特定模型为何会对测试数据实例进行错误分类，或者有时表现不佳，是一项具有挑战性的任务。

近年来，虚拟现实（VR）在可视化复杂数据方面展现出了显著优势，如数据可视化和大数据分析等领域。本文提出了一种在VR中进行交互式图像聚类的方法，用户可以通过直观的手势探索并微调底层机器学习模型。图像聚类是将相似图像分组的过程，有助于理解大型图像数据集并提高标注性能。

我们使用卷积神经网络（CNN）对图像进行初步分类，并将隐藏层的输出投影到3D VR空间中进行可视化。VR能够以沉浸式方式展示大型图像数据集，使用户更轻松地理解深度神经网络的输出，并为聚类和图像标注提供反馈。用户与VR系统的交互可以触发模型的重新训练，基于图像的新空间位置和标签进行调整。

为了在VR中显示图像数据，需要将模型的高维输出降维到3D VR空间。本文探讨了两种降维方法：主成分分析（PCA）和t - SNE降维，以及变分自编码器（VAE）。由于缺乏衡量可视化性能的定量基准，我们将重点放在对这两种方法的定性比较上。

2. 架构

我们选择的工具包、数据集和库基于相关调查。使用了POET和ILSVRC2013两个数据集，它们提供了多样化和复杂的图像数据，常用于类似实验。

我们的架构以预训练的AlexNet深度卷积神经网络为图像分类器的骨干，它由5个卷积层和3个全连接层组成，最后一层有1000个类别标签。使用PyTorch库进行训练和微调。

分布式计算架构由两台GPU加速的机器组成：