基于情景记忆的长期人机交互

一个具有情景记忆的长期交互模拟环境

摘要

机器人在家庭环境中的扩展应用，要求开发出能够与人类在执行日常任务时保持长期交互的机器人系统。这一需求推动了人机交互（HRI）领域的研究增长，尤其是在社交机器人领域。然而，在长期交互中，社交机器人的使用需要具备学习用户偏好、根据环境变化调整自身行为的能力，以与人类实现自然且友好的互动，提升参与度并促进未来的交互。本文提出了一种面向家庭环境中机器人代理的具有情景记忆的认知系统。该认知系统选择并存储与用户之间最重要的交互，并学习每个人的偏好。该系统通过零食和饮料推荐场景进行了测试和验证。

索引术语

社交机器人学，长期人机交互，认知系统，情景记忆，LIDA。

一、引言

人机交互（HRI）是一个机器人学领域，旨在理解、设计和评估能够在人类与机器人之间进行交互的机器人系统[1]。在HRI中，社交机器人学研究人类与机器人之间的社会交互，以改善和丰富机器人与人类的合作[2]。

近年来，随着社交机器人学领域的进步，机器人正日益接近人类及其日常活动，作为助手、护理人员和伴侣融入家庭环境[3],[4],[5]。社交机器人必须为用户提供可适应且个性化的服务，力求保持自然的交互[6]。因此，为了维持用户的参与度，机器人需要学习并记住每位用户的偏好和特征。在机器人系统中实现长期记忆对于使机器人行为适应每位用户具有重要作用。机器人系统利用记忆资源来记录过去的交互，从而能够在未来的交互中做出恰当的决策。

一个智能的社交机器人系统必须能够观察并理解环境中的变化，并做出适当的行为[7]。所采用的策略涉及存储对机器人代理而言重要的过往经验。实际上，这一过程类似于人类学习他人偏好——他们与之共同生活的人——朋友和家人。人类在最初会对他人的偏好做出假设，并基于所获得的知识，根据从互动中提取的信息不断调整这些假设。当社交机器人缺乏用户信息时，也可以采用类似的方法，通过新的交互随时间逐步完善知识。

在相关文献中，涉及社交机器人学和长期记忆的研究仍处于早期阶段，并存在一些局限性。例如，已有研究[8],[9],[10],[11]在适应行为时很少利用关于交互和环境的信息。它们通常未选择重要信息进行记录，或者相反，未能在机器人系统运行过程中“遗忘”无关的交互。

出于实际原因，大多数人机交互研究集中在短期交互上，对行为适应能力有所限制。事实上，这些实验难以长期维持用户的参与度，很快就会失去用户的注意力[12]。

随着技术普及，机器人在人们的社交生活中扮演着越来越重要的角色，但对交互情境下行为水平和适配性的要求也随之提高[13]，这带来了创建能够在长期交互中提升互动质量的智能系统的挑战。

本文提出了一种在具有多种用户的家庭环境中具备情景记忆的认知系统。用户可以从机器人系统订购零食和饮料，该系统会考虑用户的偏好、气候和健康状况。结果的验证使用了一个名为机器人房屋模拟器（RHS）[14]的模拟器，该模拟器提供了一个家庭环境，在此环境中机器人与一组人类进行社交互动。

本研究的主要贡献在于：
- 人工智能系统，具备情景记忆，用于社交机器人学中的长期交互，
- 用于选择与长期记忆相关的交互的系统，
- 使用认知架构LIDA作为认知模块开发的基础。

本文组织如下：在第二节中介绍了相关工作；在第三节中描述了长期社会交互；在第四节中介绍了认知模型开发环境（CMDE）架构的概述；在第五节中介绍了模块的认知和机器人系统已作说明；在第六节中重点介绍了初步结果；最后，在第七节中给出了本工作的结论。

II. 相关工作

人们对开发能够改善和丰富人类与机器人之间交互的机器人系统越来越感兴趣。一些长期交互研究表明，新奇效应会迅速消退，用户对机器人的兴趣也会随时间推移而减弱[12]。在本节中，我们将讨论关于具备记忆资源的社交机器人在长期交互方面的研究。

TritonBot[8]项目开发了一款用于长期交互的自主服务机器人，担任接待员和导游。运行场景是一栋经常有人出入的办公楼，偶尔在此环境中举行会议和活动。机器人位于走廊，面向入口，向人们打招呼并邀请他们一起行走，期间介绍配备3D打印机的原型实验室、机器人展厅以及智能家居示范室。机器人主动发起对话，如果用户已在数据库中注册，则以姓名称呼对方；若未在数据库中注册，则提问以收集用户信息，并存储其面部特征以便未来交互时识别。

Edirisinghe[15]提出了一种基于社交机器人在家庭环境中自传式记忆的智能系统，该系统具备用于长期交互的记忆资源，并能够学习用户偏好，根据用户档案调整行为。知识的表示以及信息之间的关系被存储在语义网络中。这种方法构建了一种知识表示结构，不仅能够记录来自用户的信息并执行可适应的交互，还能通过随时间推移分析用户的陈述来确定其偏好，从而实现从用户处学习的能力。

STRANDS[9]项目是一种机器人软件架构，旨在将自主服务机器人应用于不同场景中的长期交互。该项目已应用于安全场景中，目标是监控内部办公环境，并在观察到异常事件时生成警报。在护理领域，该系统支持养老院中的护理人员与患者，其中移动机器人可引导访客、向居民提供信息，并协助进行步行康复治疗。在每种场景中，机器人行为各不相同，因为它将与不同的用户群体进行交互。因此，系统在长期运行中的鲁棒性至关重要，同时还需要适应其所处环境的日常活动规律。由于无法预先确定用户与机器人交互的偏好位置和时间，因此该系统基于长期经验，利用拓扑地图上的点位来自适应调整日常行为。由此实现了自适应导航，能够主动寻找适合交互的地点，并避开机器人行进路线中存在困难的区域。

长期社会交互机器人学的挑战之一是在长时间内维持用户的参与度。维持这种兴趣的解决方案之一是建立社交关系并表现出各种自主行为[16],[10],[8]。具有长期交互能力的机器人系统的主要特征包括：社交关系、适应性和记忆。

III. 长期社会交互

长期交互对于与人类共享环境并执行特定日常任务的机器人至关重要。实现长期交互需要结合社会交互、认知、机器人的物理特性以及应用的社会背景等方面的研究。社会交互对人类来说是自然的，但对机器人系统而言却很复杂，机器人必须应对环境中的各种变化，通过个性化交互来维持参与度，并建立能够克服机器人新奇性的社交关系[11]。

Nocentini等人[11]列出了机器人系统在社交互动中的主要挑战：
- 认知架构 — 认知架构在使机器人代理具备人工智能以展现智能行为方面起着根本性作用，
- 行为适应 — 在动态环境中学习新任务并适应变化的能力，
- 共情 — 感知、理解和回应情绪状态的能力。在人类情境中，该术语指代设身处地理解他人感受的能力。对于机器人代理而言，实现与用户的共情连接有助于提升社会交互。

Nocentini等人[11]仍指出，在单一机器人解决方案中实现行为适应技术、认知架构、沟通策略和共情存在困难。

建立人-机器人社会关系在长期交互中至关重要。要被视为长期交互，用户必须逐渐熟悉机器人，直到他们对机器人的感知不再受到新奇效应[12]的影响。然而，长期交互的持续时间可能因机器人资源、总体范围以及交互场景[10]的不同而有所变化。

Leite等人[12]提出了一套用于长期交互的指导原则：
- 外观：在人们对于机器人的第一印象和未来期望中起着重要作用，
- 连续性：一段成功的社会关系需要一些能够增进信任的策略性行为，例如问候与告别、共同活动、对话序列以及增加亲密感的信息交换。
- 情感交互与共情：机器人代理的情绪表达增强了人类的投入程度，
- 记忆与适应：记住先前的交互中的信息可以加强与用户的联系。

在所提出的指导原则中，记忆虽然至关重要，却鲜有探索。尽管一些机器人具备识别用户并称呼其名字的能力，例如TritonBot[8]，但此功能的使用仍然有限。然而，在我们看来，该功能可被视为长期记忆的一种基本实现。

接下来的章节探讨了利用认知架构和情景记忆来处理信息、接近人类思维特征的通用人工智能的各个方面。

IV. CMDE 概述

认知模型开发环境（CMDE）[17]架构对认知和机器人系统之间的交互以及通信协议的使用进行了建模。

图1展示了CMDE架构的简化视图，其中定义了三个处理节点：
- 认知节点负责认知系统的植入。
- 服务器OntPercept节点实现了一个包含感官信息的数据库。
- 机器人节点直接控制机器人的所有传感器和执行器。

在此环境中，机器人系统（机器人节点）获取的环境信息通过预定义的通信协议（如REST/HTTP），并借助本体OntPercept的支持，发送至认知系统（认知节点）。认知系统接收并处理从环境中获取的信息，做出决策，并通过套接字通信将要执行的动作发送给机器人系统，如图1所示。

V. 探索认知系统与仿真环境

在本节中，介绍了图1所示的认知系统以及用于模拟机器人代理的家庭环境。

A. 认知系统

智能社交机器人是一个涉及多个领域的跨学科领域，例如：计算机科学、神经科学、认知科学和心理学。认知机器人学的研究重点是开发能够感知环境、根据经验采取行动并进行学习，从而在交互情境中调整自身行为的智能机器人[13]。这一特性被认为是智能技术发展的重要方向。

在社交机器人领域，已提出应用认知架构来更精确地建模机器人代理，以与人类互动并具备接近人类认知行为所需的资源。为此，实现了推理、感知、记忆和学习功能[18],[19],[20]。

为了模拟机器人代理的行为，本研究采用名为学习型智能分配代理（LIDA）[21]的认知架构实现了一个认知系统，该系统提供了感知、记忆、注意力、执行、社会交互、规划、动机和情感等资源。这些资源为构建具备必要认知技能的人工代理提供了一种途径。

在这项工作中，机器人代理在家庭环境中工作，为多位用户提供零食和饮料。它会考虑用户报告的天气、先前的情景以及健康状况等补充信息。机器人代理维护一个情景记忆，认知系统可以访问与每位用户互动的记忆。

认知系统接收来自环境感知的信息，执行认知循环，并在始终考虑机器人代理以往经历的各个片段的基础上，决定将执行哪些操作。图2展示了实现认知循环的认知系统的模块。该循环的步骤如下所述：

• 在第一步中，如图2中的数字1所示，一组特征检测器接收来自环境模块的数据（如气候和健康状况），并推断出小吃和饮料的类别。这两个类别随后传递到感知联想记忆中的相应表示。被激活的表示作为感知传递到工作区。
• 在第二步中，即图2中的步骤2，上一步的感知被移至工作区，此处涉及瞬时情景记忆和陈述性记忆，以产生局部关联。通过这种方式，工作区的内容被用作线索，以在记忆中定位信息。局部关联与环境感知相结合，生成智能体对当前情况的理解。注意代码块确定工作区中需要发送到全局工作区的重要资源集合。瞬时情景记忆和陈述性记忆模块在LIDA认知架构[22]中通过稀疏分布式记忆（SDM）资源进行计算实现。SDM是一种记忆模型，允许使用内容可寻址内存和关联记忆机制。瞬时情景记忆中未退化的信息被整合到陈述性记忆中。
• 在第三阶段，即图2中的编号3，全局工作区接收来自前一阶段的信息，并根据最重要和最紧急的信息进行相关性分类，其结果构成意识内容。这些意识内容随后被全局广播到其他模块。因此，意识的传递事件被编码为新的记忆存储于瞬时情景记忆中。程序性记忆接收意识的传递信息，并根据当前的相关性激活相应的行为方案。所选行为集在行为选择模块中实例化。在行为选择模块中，为本次认知循环选择一个行为。最后，选定的行为被发送到感知运动记忆模块，由该模块执行该行为，从而改变环境的状态。

值得一提的是，随着认知循环的推进，认知架构LIDA的所有模块持续异步运行，同时还有多个过程并行执行。该认知架构的模块和资源以Java语言实现为一个库。

B. 机器人房屋模拟器（RHS）

机器人房屋模拟器（RHS）模拟器[14]提供了一个环境，使机器人和人类可以在包含客厅、厨房和家居用品的居住环境中进行社交互动。

为了与不同用户档案进行长期交互，RHS模拟器最近新增了两个人类化身，老人安东尼奥和儿童若泽[23]，以及模拟器之前版本中已有的人形机器人凯尔和人类玛丽安娜。图3展示了当前版本中可用的虚拟角色集合。

所有这些虚拟形象都配备了身体，能够与环境进行交互。人形机器人凯尔由认知系统直接控制，该系统通过一个LIDA架构的实例化，定义其行为、记忆和动作。

另一方面，每个人物角色由一个用户控制，该用户与住宅环境中的机器人和物体进行交互。由于我们有多个虚拟人物，因此实现采用了类似于多人游戏的多用户系统。

图4展示了多用户RHS模拟器的概览。模拟器用户还可以通过编程调节速度或暂时中断模拟来控制时间流逝。此功能允许在家庭环境中模拟不同情境，例如起床、进餐、休息和休闲。然后用户可以控制虚拟角色进行交互，与环境、凯尔机器人或其他虚拟角色进行交互。

这种配置的多功能性使得可以在涉及与具有不同特征、偏好和行为的角色进行交互的各种场景中验证认知系统。Azevedo[23]强调了使用模拟器相对于物理系统的优势，主要包括：成本、时间控制和行为改变。

VI. 初步结果

具有情景记忆的认知系统的主要目标是利用以往事件的记忆，在环境中促进与每个人类化身的自适应交互和个性化交互。在此背景下，认知系统负责选择被认为重要的事件并将其存储，同时丢弃对机器人代理不再相关的事件。

为了将LIDA框架集成到CMD架构中，我们的方法分为两个步骤。第一步是创建一个简单的交互，其中RHS中的虚拟角色对零食和饮料的偏好被系统记录下来。第二步仍在开发中，旨在扩展学习过程，以记录模拟器中角色所执行动作的常见情境。接下来的段落将详细探讨第一步的实现。

所提出的智能系统能够向用户提供个性化的小吃和饮料建议，并在每次交互中学习用户的偏好。在选择饮料和小吃时，会考虑以下因素：交互历史、气候条件、用户的健康状况以及一天中的时间段。当用户仅提供部分信息时，认知系统能够根据其他当前条件推断出适合他的饮料和零食。

为了执行集成测试，我们使用了LIDA[21]框架实现中提供的环境资源，该资源提供了一个图形界面，用于模拟数据输入或可视化机器人代理在环境中的状态，如图5所示。在此环境中，LIDA会选择并分析参数，以选择适当的动作。

模拟了三位具有不同年龄和偏好特征的用户的数据。所考虑的年龄分别为：安东尼奥为老年人，玛丽安娜为成年人，若泽为儿童（图3）。需要指出的是，认知系统需要与每位用户进行长时间的交互，才能建立历史记录并存储到记忆中。为此，这些选定的交互被保存在瞬时情景记忆中，并整合到陈述性记忆中，以便后续由工作区模块进行查询（图2）。

小吃和饮料、天气、健康状况以及一天中的时间段的选项如表一所示。定义了这些数据选项后，将为每个用户创建偏好配置文件。作为人类化身配置文件的示例，我们可以有：
- 玛丽安娜在健康状况良好、天气温和的早晨喜欢喝茶和吃蛋糕，但在炎热的日子里更喜欢喝果汁。
- 安东尼奥平时喜欢面包配咖啡，但在患感冒或流感的日子里更喜欢喝茶。
- 若泽喜欢果汁和三明治，只有在寒冷的日子才会喝茶。

饮料	小吃	健康	天气	白天时段
咖啡	Cake	健康	Nice	早晨
Tea	面包	Cold	Hot	下午
果汁	三明治	Flu	Cold	夜晚

对于每位用户都有交互历史记录，该认知系统能够做出决策并向机器人代理报告动作。然而，正如我们可能会因身边人的偏好而误导自己一样，该认知系统在某些情况下，当对话者画像的构建发生变化或尚未完全建立时，也可能会出现错误。在这些情况下，系统始终力求适应以改善未来的互动。

VII. 结论

在本文中，我们提出了一种CMDE架构的演进，以应对机器人系统的长期交互。该演进包含一个基于情景记忆的智能系统，可在家庭环境中为不同用户提供自适应服务。

实验结果能够验证该系统在通过交互学习用户偏好时提供自适应服务的潜力。该系统能够根据随时间收集到的经验，更新最初学习到的关于用户的信息。因此，机器人代理通过适应用户的偏好变化来进行学习。尽管该系统目前仅在饮品和零食推荐场景中进行了测试，但它在涉及机器人与家庭环境中人类互动的多种场景中具有广泛的应用潜力。

下一步工作包括将LIDA框架完全集成到RHS模拟器中，以实现与系统中人类代理的长期交互。此外，还应将新的使用场景纳入知识库，例如音乐偏好或更衣室选择。