24、基于强化学习的麻醉药物剂量控制研究

基于强化学习的麻醉药物剂量控制研究

1. 强化学习基础与模拟设置

强化学习控制器或智能体需要探索所有状态和动作，并利用先前试验中有助于获得更多奖励的信息。随着迭代次数 $k$ 趋于无穷，$Q$ 表中定义的所有状态和动作将被反复执行，从而使 $Q$ 表收敛到最优 $Q$ 表。同时，为确保 $Q$ 表收敛并学习到最优策略，还需随时间降低学习率 $\eta_k(s_k, a_k)$。

在模拟实验中，为了说明基于强化学习的控制器在闭环控制脑电双频指数（BIS）和平均动脉压（MAP）中的应用，进行了一系列模拟。模拟设置迭代次数为 50,000 个场景，每个场景代表从任意初始状态到所需最终状态 1 的一系列转换。初始时，学习率 $\eta_k(s_k, a_k)$ 设为 0.2（场景 1 - 499），此后每 500 个场景将其减半。

对于每个场景，为模拟患者模型分配一组新的随机初始状态，包括异丙酚的 $x_1(0) \in [0, 0.084] g$、$x_2(0) \in [0, 0.067] g$、$x_3(0) \in [0, 0.039] g$ 和 $c_{eff}(0) \in [0, 0.005] g L^{-1}$。然后重复学习阶段，直至收敛并达到性能目标，即保持 BIS 和 MAP 值在期望范围内。在模拟中，$Q$ 表在达到最大迭代次数之前就已收敛。收敛后，对于每个状态 $s_k$，智能体选择动作 $a_k = \arg \max_{a \in A}Q(s_k, a)$。

训练阶段结束后，即智能体学习到每个状态 $s_k \in S$ 达到期望目标状态所需的最优输注速率序列后，在一系列场景中对单个患者评估学习到的智能体的效能，以检查其在实际情况下基于最优