14、智能工厂异构网络的负载均衡、路由优化与安全隐私保护

智能工厂异构网络的负载均衡、路由优化与安全隐私保护

1. 基于深度强化学习的网络负载均衡与路由优化

1.1 负载均衡与路由优化问题

在软件定义工厂的异构网络中，基于单一路由度量参数的路由算法难以满足多源数据流的QoS要求，容易导致链路拥塞和网络资源浪费。为解决此问题，提出了基于双深度Q网络（DDQN）的软件定义工厂异构网络的网络负载均衡和路由优化方法。

网络拓扑模型是一个无向图$G = (V, E)$，其中$V$是所有SDN交换节点的集合，$E$是物理链路的集合。相关符号定义如下表：
| 符号 | 定义 |
| — | — |
| $d_k$ | 节点对之间的数据流请求 |
| $P$ | $d_k$的所有可达路径 |
| $p_k$ | $d_k$在时间$t$的传输路径 |
| $w_k$ | 数据流$d_k$通过路径$p_k$的概率 |
| $L_k$ | $d_k$在时间$t$的传输延迟 |
| $U_E$ | 时间$t$的网络带宽利用率 |
| $CV_{load}$ | 网络负载均衡程度 |
| $L_J$ | 时间$t$的网络平均延迟 |
| $Thpt$ | 网络吞吐量 |
| $Jitt$ | 平均网络抖动时间 |

网络平均延迟$L_J$的计算公式为：
[
L_J = \sqrt{\frac{\sum_{k \in J} L_k^2}{J}}
]

网络利用率$U_E$的计算过程如下：
SDN控制器通过OpenFlow协议定期发送统计数据包，获取SDN交换端口的统计