8、虚拟化M2M网络的接入方案优化与MDP模型解析

虚拟化M2M网络的接入方案优化与MDP模型解析

1. MDP 基接入方案概述

在虚拟化 M2M 网络中，为提升网络利用率和切片隔离性，提出了一种基于马尔可夫决策过程（MDP）的接入方案，采用确定性退避机制。该方案类似虚拟轮询接入方案，但无需轮询数据包开销。在每个帧中，接入点（AP）会根据设备的流量统计信息和切片预留情况，为设备分配唯一的退避值，这种确定性的退避值分配方式避免了设备间的冲突。

通过数值结果可知，与时分多址（TDMA）、确定性退避（DEB）和载波侦听多路访问（CSMA）相比，该 MDP 基接入方案在不饱和网络中表现出更高的效率。衡量其性能的指标包括数据包交付率（PDR）、隔离指数和吞吐量等。而且，此方案能够在不同切片间保持隔离，不受设备数量或到达流量统计信息的影响。

2. MDP 模型介绍

MDP 是一个由 5 个组件组成的元组，具体如下：
- 状态空间 S ：这是一组不同的状态，用于描述与决策过程相关的信息。状态数量可以是离散或连续的，有限或无限的。
- 动作集 A ：决策制定者在状态 s 下可以采取的一组可能动作。与状态空间类似，动作集可以是有限或无限的，连续或离散的。
- 转移函数 T ：它体现了动作以随机方式影响系统这一事实。具体而言，T(s′, a, s) 表示在状态 s 下采取动作 a 转移到状态 s′ 的概率。转移函数体现了马尔可夫性质，即从状态 s 转移到状态 s′ 的概率仅取决于当前状态和动作，给定当前状态，下一个状态与先前的状态和动作无关。
- 奖励函数