26、强化学习在癌症化疗药物剂量控制中的应用

强化学习在癌症化疗药物剂量控制中的应用

1. 强化学习框架在癌症化疗中的应用

强化学习（RL）框架可用于开发闭环控制器，以调节癌症化疗治疗。主要元素包括智能体（agent）和系统。Q学习算法在推导最优控制策略时不使用转移概率矩阵，因此假设该矩阵未知。智能体的目标是在无限时间范围内最大化所获得的奖励。Q函数会根据系统的当前状态、采取的动作、到达的新状态以及状态转移所获得的奖励，按照特定公式逐步更新。

2. 不同临床场景下的训练

为了考虑实时情况，使用了三种不同的临床场景来训练基于强化学习的控制器，分别是成年癌症患者、怀孕癌症女性和患有癌症及其他严重疾病的老年患者。选择这三种案例研究的原因是为了展示在强化学习算法中需要做出的改变，以实施临床相关的治疗策略。
- 对于年轻癌症患者，肿瘤学家的首要任务通常是根除肿瘤细胞以防止转移。由于年轻患者具有良好的生长能力，即使化疗对正常细胞造成一些损伤，身体也能轻易补偿。
- 对于老年癌症患者，肿瘤学家会在根除癌症的同时尽量保留正常细胞。
- 对于患有脑癌或其他重要器官癌症的患者，限制对正常细胞的损伤也很重要。这些情况可通过选择合适的奖励函数来考虑。此外，对于特定患者群体（如婴儿、儿童和孕妇），肿瘤学家需要限制药物剂量的上限，这可以通过在训练强化学习智能体时适当选择药物输注速率的最大值来实现。

3. 模拟患者的生成与训练参数

使用表8中的参数生成模拟患者，用于训练和测试基于强化学习的控制算法。在模拟中，最大迭代次数设定为50,000个场景。一个场景是从随机初始状态到期望最终状态的一系列状态转移。最初的499个场景中，$\eta_k(s_k, a_k)$ 的值设为0.2，之