82、内在可解释强化学习评估

内在可解释强化学习评估

在移动通信网络中，RET（Remote Electrical Tilt，远程电调倾斜）优化是提升网络性能的重要手段。传统方法在处理复杂网络动态时存在局限性，而强化学习（Reinforcement Learning，RL）为解决这一问题提供了新思路。同时，可解释强化学习（Explainable Reinforcement Learning，XRL）方法的出现，使得我们不仅能优化网络性能，还能理解决策背后的原因。本文将聚焦于两种内在XRL算法——drDQN和LMUT，对它们在RET用例中的应用进行评估。

主要贡献

• 首次对drDQN和LMUT在RET用例中进行实证比较。
• 将RET优化问题表述为适合应用drDQN和LMUT的RL问题，为未来评估其他XRL方法提供基准。
• 展示在RET用例中使用drDQN和LMUT可实现的解释的定性结果。

相关工作

相关文献主要涉及两个研究领域：RET优化中的RL和XRL。
- RET优化中的RL ：先前研究表明，RL方法在RET用例中可优于领域专家手工制定的传统基于规则的策略。例如，通过离线训练智能体，安全RL在性能和安全性上均能超越基于规则的策略；离策略上下文多臂老虎机算法在RAN模拟中始终优于基于规则的策略；RL能比传统算法更有效地调整天线的多个参数，如下倾角。
- XRL方法 ：可分为事后（post - hoc）方法和内在（intrinsic）方法。
- 内在方法 ：
-