Embedding Large Language Models into Extended Reality

本文是LLM系列文章，针对《Embedding Large Language Models into Extended Reality: Opportunities and Challenges for Inclusion, Engagement, and Privacy》的翻译。

摘要

计算机图形、硬件、人工智能（AI）和人机交互的最新发展可能会导致扩展现实（XR）设备和设置更加普及。虽然这些设备和设置为用户提供了具有不同感知模式（如眼睛和手跟踪器）的交互式、引人入胜和身临其境的体验，但许多非玩家角色是以预先编写脚本的方式或通过传统的人工智能技术使用的。在本文中，我们主张在XR中使用大型语言模型（LLM），方法是将其嵌入虚拟化身或作为叙事，通过根据用户档案进行提示工程，并为特定目的微调LLM，以促进更具包容性的体验。我们认为，这种包容性将促进XR使用的多样性。此外，我们相信，凭借LLM的多功能对话功能，用户将更多地参与XR环境，这可能有助于XR在日常生活中得到更多使用。最后，我们推测，将用户提供给LLM赋能环境的信息与通过传感器获得的生物特征数据相结合，可能会导致新的隐私侵犯。在研究此类可能的隐私侵犯时，还应调查用户的隐私问题和偏好。总之，尽管存在一些挑战，但将LLM嵌入XR是一个有前景的新研究领域，有很多机会。

1 引言

2 相关工作

3 机遇、研究方向和挑战

4 结论

在本文中，考虑到生成人工智能和LLM的发展，我们主张将LLM嵌入为NPC或XR中叙事形式的虚拟化身。我们指出，由于LLM的多功能对话能力，由于他们接受了来自互联网的大量文本数据、提示工程选项和微调机会的训练，无论用户特征（如专业知识或性别）如何，这些NPC和叙述都将为XR中的用户提供显著改善的个性化体验。我们认为，这将增强以参与的方式更频繁地使用XR的动机，并有助于将不同类型的