35、基于深度学习的网络缓存与实例动态缩放策略

基于深度学习的网络缓存与实例动态缩放策略

1. 背景与问题提出

随着4G网络的广泛商用，接入网络的用户设备数量急剧增加，网络的数据平面和控制平面流量迅速增长。为了应对新的应用场景，如自动驾驶、互联网医疗、高清直播等，新一代5G移动通信技术应运而生。在5G核心网络架构中，虽然新的网络功能AMF（接入和移动性管理功能）直接与用户设备（UE）交互，负责处理接入请求，缩短了接收请求的延迟，但缺乏有效的策略来控制AMF实例的部署规模，难以在保证服务质量的前提下及时合理地调度资源。

同时，在移动边缘网络的缓存替换问题上，优化延迟是一个NP完全问题，当网络中的智能终端和基站数量较多时，实时解决该问题十分复杂。

2. 基于深度Q学习的协作缓存替换算法

2.1 问题描述

协作移动边缘缓存的延迟优化问题是一个复杂的NP完全问题。为了解决这个问题，提出了基于深度Q学习的缓存替换算法。

2.2 算法要素

• 状态（S） ：在网络模型中，有N个智能终端（SE）和M个宏基站（MBS），待缓存的内容是一组K个视频文件。网络的缓存状态可以用一个维度为（N + M）的向量来描述，即状态向量$S_{N+M}$。$S_i = k$表示设备i缓存了内容k。
• 动作（A） ：用一个维度为（N + M）的向量表示缓存内容的替换。$A_i = k$表示设备i从缓存中丢弃内容k，并缓存新到达的内容k’。
• 奖励函数（R） ：定义$R(s, a)$表示在状态s下选择动作a的