10、人工智能助力假肢：挑战解决方案

人工智能助力假肢：挑战解决方案

在人工智能应用于假肢控制的领域，不同团队提出了多种解决方案，下面将详细介绍几种方法。

1. 基于课程学习的复杂步态高效稳健学习

该方法由Bo Zhou、Hongsheng Zeng等人提出，结合了强化学习与课程学习，使用由外部控制命令驱动的深度确定性策略梯度（DDPG）算法，通过大规模分布式训练和自举深度探索范式加速学习过程，最终在NeurIPS 2018: AI for Prosthetics竞赛中获胜，比第二名的解决方案得分高出30多分。

1.1 挑战

与2017年的“学习奔跑”竞赛相比，2018年的“人工智能假肢”竞赛有以下变化：
- 模型不再局限于二维运动，而是具有包括横向方向的三维运动。
- 用没有肌肉的假肢腿替换了完整的右腿。
- 提供外部随机速度命令，要求模型按指定方向和速度奔跑，而非尽可能快地奔跑。

这些变化带来了以下挑战：
- 高维非线性系统 ：整个系统有185维的观测值，7个关节和11个身体部位，动作空间包括19个连续的肌肉控制信号。系统高度非线性，动作空间相对较大，且智能体需以不同速度和方向行走，进一步扩展了观测空间和转换空间，导致收敛缓慢、局部最优和不稳定等核心问题。
- 局部最优和稳定性 ：在当前模型的低速行走中，局部最优问题尤为突出。当尝试从头学习达到特定速度时，骨骼会以各种姿势行走，奖励表现相近，但这些步态不自然且稳定性差，将模型转移到其他指定速度时容易摔倒，尤其是在速度切换时刻。

1.2 方法

为应对上述挑