4、多模态反馈通信与协作机器人控制架构解析

多模态反馈通信与协作机器人控制架构解析

在现代工业场景中，人机协作变得越来越重要。为了提高人机协作的效率和安全性，研究者们不断探索新的方法。本文将介绍多模态反馈通信系统以及一种基于人类的协作机器人控制架构。

多模态反馈通信系统

多模态反馈通信系统旨在改善任务执行过程中的人体工效学。该系统结合了视觉反馈和语音音频反馈，以实现不同阶段的身体姿势调整。

不同反馈方式的性能对比

• 总完成时间（TCT） ：音频反馈由于参与者无法直观了解当前姿势与目标姿势的距离，容易出现过冲或欠冲，导致TCT较长。而视觉反馈能让参与者随时了解当前姿势与目标姿势的关系，有效避免过冲或欠冲，从而减少TCT。多模态反馈在TCT方面与视觉反馈表现相似，因为参与者在进行较大动作时依靠视觉反馈，而在接近目标姿势时使用音频反馈。
• 总移动距离（TDM） ：音频反馈下，肩部和肘部的移动距离明显大于视觉反馈。这是因为参与者不清楚与目标姿势的距离，导致额外的调整动作。多模态反馈下，关节的整体移动略大于视觉反馈，这可能是由于音频模式下的额外调整所致。不过，当工人需要将视觉注意力完全集中在实际任务上时，这种额外的移动可能是可以接受的。
• NASA - TLX 主观评价 ：参与者认为音频反馈和视觉反馈的工作负荷几乎相同。音频反馈的高工作负荷可能是因为看不到当前姿势与目标姿势的关系，需要更多的调整；而视觉反馈的高工作负荷则是因为参与者在执行任务时需要不断关注图形用户界面（GUI）。多模态反馈被认为工作负荷明显较低，因为它结合了两种反馈方式的优点