护卫舰防御无人机群DWTA的改进RL-IGWO算法

原文：A Modified RL-IGWO Algorithm for Dynamic Weapon-Target Assignment in Frigate Defensing UAV Swarms
摘要：无人机蜂群在成本、数量、智能等方面具有显著优势，对传统的护卫舰防空系统构成严重威胁。舰载近程防空武器承担末端防御任务对抗UA V蜂群。在传统的防空火控系统中，将一个动态武器-目标分配分解为若干个静态武器-目标分配，但动态武器-目标分配与静态武器-目标分配之间的关系并没有得到有效的分析证明。以某型护卫舰与UA V编队作战场景为背景，建立了基于模型的强化学习框架，利用动态规划方法将DWAT问题分解为多个静态组合优化问题。此外，设计了几个可变邻域搜索(VNS)算子和一个基于对立的学习(OBL)算子，增强了原灰狼优化器(GWO)的全局搜索能力，从而解决了SCO问题。针对护卫舰防御UA V群攻击中的DWTA问题，提出了一种改进的基于强化学习的灰狼算法(RL-IGWO)。实验结果表明，RL-IGWO在决策时间和求解质量上都有明显的优势。
引言：有三种经典的动态WTA模式
1、AOA——攻击-观察-攻击
2、OODA——观察-确定-决策-行动
3、博弈论
  目前的研究存在以下问题：1、DWTA问题的分解过程没有有效的分析证明支持，子问题的最优解不能保证在整个时域内是全局最优解。2、目前一些最先进的群体智能算法在求解DWTA问题分解出来的每个子问题时存在一些缺陷，有时会陷入局部最优。3、在DWTA问题的多目标优化过程中，许多情况下各个目标函数之间存在着强烈的冲突，传统的目标函数设计严重依赖于权重，没有有效的方法。
  为了有效解决上述问题，提出了一种基于强化学习的改进灰狼算法(RL-IGWO)，本文以护卫舰防御UA V群为例，建立了复杂约束条件下的DWTA问题。采用动态规划方法和强化学习方法，将DWTA问题分解为多个静态组合优化问题，并进行了严格的分析证明。设计了几个可变邻域搜索(VNS)算子和一个基于对立学习(OBL)算子来增强灰狼优化算法(GWO)的全局搜索能力。为了通过GWO算法生成高质量的原始解，采用了强化学习训练的策略。GWO算法还能更好地执行贪婪策略，有利于状态值函数收敛。并用强化学习的价值状态函数设计目标函数。

建模：
核心思想：由于多目标优化问题的多个目标之间往往相互冲突对立，因此本文将多目标问题转化为有约束的单目标问题。
动作：$A=[A_{ij}{]}_{n\times 4}$，其中第一列表示短程导弹1的攻击情况；第二列表示短程导弹2；第三列表示制导导弹；第四列表示“密集阵”系统，如：$A_{i3}=3$表示用三个制导导弹攻击第$i$个无人机。且动作需满足以下约束条件：

状态及状态转移：$$S_t=[n,D]\to S_{t+1}=[n-death,D+1]$$表示了由状态$t$到$t+1$时无人机群数量$n$的变化和机群所在空间$D$的变化
原多目标问题的目标函数：
破坏值(destructive value, D_v)$$D_v=\sum _{i=1}^{n}UA{V}_i$$资源消耗(resource consumption, R_c)$$R_c=\sum _{i=1}^{n}Weapo{n}_i$$效率成本比(efficiency-cost ratio, E_cr)$$E_{cr}=D_v/R_c$$平均拦截率(average interception rate, A_ir)$$A_{ir}=1-\sum _{i=1}^{n}1/e_i$$防御完成率(defense completion rate, D_cr)$$D_{cr}=1/n\sum _{i=1}^{n}suc$$$$suc=\{\begin{array}{l}1,if{n}_{pen}==0\\ 0,if{n}_{pen}!=0\end{array}$$
对以上目标函数设置权重和违反程度后，带约束的单目标模型如下：
$$\begin{gathered} max{J}_{cer}=\omega \cdot D_v-R_c \\ s.t.\{\begin{array}{l}{A}_{ir}>(1-E_{air})\\ D_{cr}>(1-E_{dcr})\end{array} \end{gathered}$$其中，$\omega =100$，$E_{air}=0.06$，$E_{dcr}=0.12$
RL-IGWO算法：
1、DWTA问题的分解
传统的DWTA问题往往被分解为多个SWTA问题解决，
SWTA={SWTA1,SWTA2,...,SWTAt,...}SWTA = \{SWTA^{1},SWTA^{2},...,SWTA^{t},...\}SWTA={SWTA1,SWTA2,...,SWTAt,...}每个阶段的目标函数记为$J^t$， 有：$$J^t=\sum _{i=1}^n\prod _{j=1}^m(1-p_{ij}^t{)}^{a_{ij}^t}$$如果按照AOA框架，那么该问题只是在每个局部时域内进行优化，并没有考虑到后续阶段的规划，但DWTA是一个经典的序列决策问题，具有较强的随机性和对时间敏感的特点。因此引入了强化学习解决全局时域内的优化问题。
用如下表达式记录每一阶段内被成功拦截的UAV：
$$\begin{gathered} deeath=\sum _{i=1}^{n}broken(i) \\ broken(i)=\{\begin{array}{l}0,ifx<{\prod }_{j=1}^4(1-p_{ij}^t{)}^{a_{ij}^t}\\ 1,else\end{array} \end{gathered}$$那么强化学习的奖励函数可以设计为：$$r=\{\begin{array}{l}-\infty ,ifdeath<nandD=7\\ J_{ecr}\end{array}$$，第$t$阶段状态$S$的状态值函数可以表示为：$v(S_t)=E(r_t+r_{t+1}+r_{t+2}+\dots )$
假设DWTA问题在遵循马尔科夫决策过程，在决策时采用贪婪策略，那么根据状态值函数可以得到bellman离散方程：$$v_{k+1}(s_t)=max(r_{s_t}^A+\sum _{s_{t+1}}{P}_{s_t{s}_{t+1}}^A\times v(s_{t+1}))$$当状态值函数收敛时，DWTA问题转化为一系列静态组合优化问题（SCO）：DWTA={SCO1,SCO2,..,SCOt,...}{SCOt:max  J(At)J(At)=rstA+∑st+1Pstst+1A×v(st+1)DWTA = \{SCO^1,SCO^2,..,SCO^t,...\} \\ \begin{cases}SCO^t:max\ \ J(A^t) \\ J(A^t)=r_{s_t}^A+\sum_{s_{t+1}}P_{s_ts_{t+1}}^A\times v(s_{t+1})\end{cases}DWTA={SCO1,SCO2,..,SCOt,...}{SCOt:max  J(At)J(At)=rst​A​+∑st+1​​Pst​st+1​A​×v(st+1​)​
2、灰狼算法的改进
1）加入对立学习算子，提高初始解的多样性

  强化学习生成的策略$\pi =[S,A_{\alpha },A_{\beta },A_{\delta }]$包含了三只头狼的分配矩阵，根据对立学习原则，生成对立的三只狼$A_{\hat{\alpha }},A_{\hat{\beta }},A_{\hat{\delta }}$，对立个体的分配矩阵是将原个体的分配矩阵中的非零元素转化为零元素，零元素随机生成正整数（也有可能还是0）。
2）可变邻域搜索算子

设计了三种不同的搜索算子：平衡算子、滑动算子和爆炸算子。
平衡算子：

滑动算子：

（上图中4有误，应表示为：$A_s[i,0]=B[i,n2-2]$,$A_s[i,1]=B[i,n2-1]$,$A_s[i,2]=B[i,n2]$）
爆炸算子：
当上述两种算子都不能产生更优解时，采用爆炸算子产生新的随机序列，提高了全局搜索能力$$A_i^{exploding}=A_i+E_i=A_i+{\hat{E}}_i+{\tilde{E}}_i$$其中${\tilde{E}}_i$表示随机扰动项，其元素${\tilde{E}}_i[I,J]=E_{max}\times (1-iter/ite{r}_{max})\cdot \delta$，${\hat{E}}_i$表示邻域学习项，可以表示为${\hat{E}}_i={\sum }_{A_j\in N_i}(A_j-A_i)$，其中Ni={Aj∣(∥Aj−Ai∥<Ri)}N_i=\{A_j\vert( \Vert A_j-A_i\Vert<R_i)\}Ni​={Aj​∣(∥Aj​−Ai​∥<Ri​)}，一般限制邻域半径$R_i=1/5n{\sum }_{j=1}^n\Vert A_i-A_j\Vert$
3、总体算法流程

实验部分
1、6个基准问题的实验对比
  将I-GWO与其他元启发式算法进行比较：粒子群算法、磷虾群算法（Hrill Hred algorithm,KH）和遗传算法，通过实验说明了该算法在收敛速度和优化结果上的优越性。
2、DWTA问题的实验对比
  模拟了6各不同的战斗场景，每个场景重复35次以测试不同种群规模和迭代下的性能，首先对比了再强化学习的基础上分别采用不同的进化策略：RL-GWO和RL-IGWO两种算法的状态值收敛效果；又对比了RL-IGWO与IGWO、GWO、NSGA-2在上述场景中5个目标函数的结果（数值、柱形图）
结论
  该算法求解动态问题仍会面临较大的计算复杂度，分布式优化和并行计算是未来解决动态问题的关键技术之一；好的优化算法并不一定能找到所有问题都最优解，问题本身的设置需要具备合理性；强化学习提供的高质量初始种群在整个优化过程中的影响会逐渐减弱。