Augmented Body Communicator: Enhancing daily body expression for people with upper limb limitations

文章主要内容

本文介绍了一种名为增强身体 communicator（ABC）的系统，该系统结合了机械臂、大语言模型（LLM）和摄像头，旨在帮助上肢运动受限人群（如 ALS、肌肉萎缩症患者）提升非语言沟通能力。具体内容包括：

1. 系统设计：采用7自由度机械臂，通过“运动记忆”功能记录用户自定义动作，并通过网页应用实现多设备兼容控制。LLM通过图像识别分析对话对象的手势，推荐合适的机械臂动作（如挥手、握手）。
2. 用户测试：对6名上肢功能障碍患者进行测试，结果显示系统显著提升了用户的自我表达能力（SUS评分90±2.6），并帮助他们参与日常社交互动（如打招呼、挠痒）。
3. 挑战与展望：当前系统存在处理延迟（约5秒）、依赖对话对象主动发起互动等问题。未来计划整合运动匹配算法，支持功能性任务（如取物、开关控制），并探索与AAC设备的融合，形成更全面的沟通系统（ACC）。

文章创新点

1. 技术融合：首次将机械臂的运动记忆功能与LLM的图像识别结合，实现上下文感知的非语言沟通推荐。
2. 用户中心设计：通过协作设计流程，允许用户及其辅助者共同创建个性化动作库，满足多样化社交需求。
3. 应用扩展：突破传统机械臂聚焦功能性任务的局限，首次系统性探索其在日常社交场景中的非语言沟通潜力。

</