基于马尔可夫的C-V2X基站选择

一种用于蜂窝车联网（C‐V2X）通信的新型基站选择策略

摘要

蜂窝车联网（C‐V2X）通信通过车辆与其他实体之间的信息交换，提升了车辆的安全性、舒适性和行驶效率。通常情况下，仅使用宏蜂窝或仅使用微微蜂窝作为C‐V2X的通信基础设施。目前，宏‐飞基站网络被用作新型的C‐V2X网络架构。然而，在宏‐毫微微蜂窝系统中，C‐V2X仍存在两个尚未解决的问题：首先，车辆移动性导致车辆需频繁在不同基站之间切换连接，无效的切换会降低通信质量；其次，非智能的基站选择会造成网络拥塞和网络负载不平衡。为应对上述挑战，本文提出了一种基于马尔可夫决策策略的车辆在宏‐毫微微蜂窝系统中的基站选择策略。首先，我们提出一种用于基站选择的接收信号强度（RSS）预测机制；其次，在C‐V2X中引入了一种比较型马尔可夫决策策略算法。据我们所知，这是首次尝试在C‐V2X技术中基于马尔可夫决策策略实现对RSS的预测。为验证提出的机制，我们在车辆以不同速度移动的情况下，对传统基站选择方法与本文提出的机制进行了仿真。结果表明，传统基站选择策略仅在高速场景下效果明显，而该缺陷可通过本文提出的方案得以解决。随后，我们将所提方案与传统基站选择策略进行对比。仿真结果显示，本文方案在基站间连接切换方面具有有效性，并能有效防止网络资源过载。

关键词 ：蜂窝车联网（C‐V2X）；宏‐毫微微蜂窝系统；马尔可夫决策策略；负载均衡控制

1. 引言

蜂窝车联网（C‐V2X）无线通信技术是一种连接车辆与万物的新一代通信技术。与传统的车对车通信相比，蜂窝车联网（C‐V2X）能够利用安全且成熟的网络的全面覆盖范围，还能在高速和高密度交通条件下支持高可靠、实时的通信服务。最终，蜂窝车联网（C‐V2X）将在自动驾驶技术的发展中发挥关键作用 [1]。

蜂窝车联网（C‐V2X）基于无线蜂窝技术获取信息，并分析所收集的信息以获得正确的指令。无线蜂窝技术利用蜂窝基站中继在广域范围内实现车辆之间或车辆与数据中心之间的数据传输。通常，无线蜂窝技术有两种类型的基站。宏蜂窝基站具有较大的发射功率和较广的覆盖范围，能够满足大量用户的需求。然而，在车辆移动过程中，宏蜂窝基站信号通常会被建筑物遮挡，即使在交通拥堵和用户密度较高的情况下也是如此；因此，宏蜂窝信号受到严重干扰。在宏蜂窝基站的盲区部署毫微微基站，可以改善特定区域的信号传输质量。车辆与基站之间的距离与接收信号强度（RSS）成反比，因此从毫微微基站获得的接收信号强度更稳定且更高。但毫微微基站的发射功率较低，覆盖范围有限。通过两种基站的协同工作，宏‐毫微微蜂窝系统可为蜂窝车联网（C‐V2X）提供稳定的信号传输服务。当车辆处于移动状态时，需要选择合适的基站以提供高效的传输服务。

在先前的研究中，已针对基站选择研究了基于强化学习的马尔可夫决策策略，见[2]。本文与先前研究的不同之处如下：首先，本文考虑了毫微微基站存在使用限制；其次，先前的研究未考虑车辆的随机移动，而我们预测车辆下一步动作的位置；最后，在该系统中，每辆车的动作是独立的，各车辆的选择会影响系统的通信质量。我们需要根据马尔可夫决策策略制定最优基站选择策略。

在选择基站时，我们面临以下问题：
(1) 对于自动驾驶车辆而言，在复杂环境中由于自动移动的随机性，通常存在多条可行路径变量。因此，难以预测用户下一个位置。
(2) 当基站选择效率低下时，若毫微微基站过载，则会产生不必要的干扰和信号中断。

为了解决上述问题，我们提出了一种将基站选择建模为马尔可夫决策问题的方法。我们的工作贡献可以总结如下：
(1) 根据车辆的当前状态，预测来自两种基站的接收信号强度。
(2) 使用马尔可夫决策策略预测所有基站选择可能性序列，并获得最合适的选择序列。

本文主要考虑多车辆基站选择的预测。如果结合系统中各车辆的现有状态进行分析，根据我们提出的基站选择策略，还可用于系统中每辆车切换选项的预判。

本文的其余部分组织如下。在第2节中，我们介绍相关工作。在第3节中，介绍了背景知识和预备内容。在第4节中，我们提出了一种针对多车辆的马尔可夫决策策略机制。在第5节中，我们提出了一种预测接收信号强度的方法。在第6节中，介绍了马尔可夫决策策略拓扑结构。仿真结果在第7节中展示并进行讨论。最后，我们给出了结论并展望了未来的工作。

2. 相关工作

许多相关研究提出了多种解决方案。文献[3]从经济动机到需求及相关使能技术，深入探讨了基于短距离车对车（V2V）的车载传感器网络（VSNs）所面临的挑战；同时还概述了在国际层面讨论的、旨在将连接功能集成到车辆中的潜在强制性规则。文献[4]描述了车载通信的发展历程。从专用短程通信技术发展到蜂窝车联网（C‐V2X），为提升车辆通信系统提供了诸多解决方案。文献[5]利用传感器获取实时交通信息，以保障车辆安全。这是对专用短程通信技术的一种优化，能够在有限区域内有效避免交通拥堵。然而，在面对长距离避障问题时，短距离通信无法实现。因此，

我们考虑需要将蜂窝流量信息与蜂窝通信相结合。文献[6]利用蜂窝通信系统实现了长距离传输，并通过负载映射和排队论实现了智能交通系统，能够有效应对拥堵问题。文献[7],通过分析和仿真表明，蜂窝车联网（C‐V2X）——由第三代合作伙伴计划（3GPP）开发并设计用于车对车和车对网络模式的技术——是能够满足V2X需求并为网联化与自动驾驶提供最高效路径的突出技术。文献[8]分析了3GPP所设计算法的参数及其对系统性能的影响。通过在不同大规模场景下的仿真，我们表明，修改某些参数的影响可以忽略不计，适当选择其他参数确实可以改善服务质量，而有一组参数则可以在可靠性与更新延迟之间进行权衡。

由于现实世界中的带宽限制，网络拥塞可能难以避免。因此，我们需要改进天线以帮助扩展带宽。[9]中的研究解释了如何在车辆上安装天线，因为使用车载天线可以改善通信质量。然而，这种改进是有限的。只有天线基站才能有效改善网络环境。宏‐毫微微蜂窝系统为我们提供了解决方案。[10]中介绍了如何在整个系统中有效分配网络资源并避免网络延迟。

在[11]中提出了一种用于宏‐毫微微蜂窝系统自组织的仿生方法。当新节点加入网络时，教导式无线电被用来训练系统的策略。该设计的自组织能够调整宏蜂窝基站倾角。文献[12]为微微基站切换提供了解决方案，建议扩展天线覆盖范围以提高系统性能。文献[13]讨论了一种基于距离的切换方案，其阈值可通过天线的重叠区域计算得出。针对微微基站之间的切换决策，文献[14]采用马尔可夫决策问题获得信道分配策略，进而提出最优天线切换决策。

3. 背景与预备知识

3.1. 宏-毫微微蜂窝系统

由于微微蜂窝的发明旨在弥补宏蜂窝基站传输覆盖中的盲区和边缘区域，从而提升了网络的服务质量[15]。因此，我们选择了一个包含一个宏蜂窝基站和多个毫微微基站的组合模型。宏蜂窝基站作为车辆可选择的传输站之一，起到总体控制的作用[16]。所有上行请求和资源分配均通过宏蜂窝基站进行处理。毫微微基站的设置位于宏蜂窝基站的覆盖范围内[17]。一方面，这种方法可以增强周围的信号强度；另一方面，可以分担宏蜂窝基站的传输压力。因此，我们将宏蜂窝基站设定为占据主导地位，同时还具备数据统计和通信资源统一部署的功能[18]。

3.2. 博弈论

博弈论考虑个体在博弈中的预测和实际行为，并研究其优化策略[19]。表面上不同的互动可能表现出相似的激励结构，因此它们属于同一博弈的特例[20]。正如在基站选择中，我们需要考虑车辆的预测和实际行为，并通过宏蜂窝和微微蜂窝基站之间的不同交互展现出相似的激励结构[21,22]。

3.3. 马尔可夫决策策略

在概率论与统计学中，马尔可夫决策策略提供了一种数学架构模型，用于在部分随机性存在的状态下进行决策由决策者控制[23]。对于一个系统，从一个状态到另一个状态存在转移概率，并且该转移概率可由前一个状态得出[24,25]。因此，我们通过结合宏‐毫微微蜂窝系统中基站状态的传递函数来确定最佳的基站选择策略[26]。

4. 提出的机制

4.1. 假设

如图1所示，当车辆移动时，系统会比较来自所有基站的RSS功率。根据车辆上报的RSS比较结果，系统为其分配匹配的天线资源。尽管基站以广播形式发送信号，但用户只能选择一个基站作为自己的传输基站[27]。

本文采用专用带宽分配策略。宏蜂窝和飞蜂窝基站的带宽不同，相邻飞蜂窝基站也被分配不同数量的带宽。因此，宏蜂窝与飞蜂窝基站之间的传输不会相互干扰。我们主要讨论在存在一个宏蜂窝基站和一个飞蜂窝基站[28]的情况下车辆的基站选择问题。

假设宏‐毫微微蜂窝系统中有 $n$ 辆车辆。宏蜂窝基站的发射功率为 $E_M$，微微蜂窝基站的发射功率为 $E_F$。第 $j$ 辆（$j= 1, 2, 3, … n$）车辆的接收信号强度可表示为[29]：

$$
RSS_{Mj} = E_M d^{-\beta}_{Mj} h_M 10^{\xi / 10}
\tag{1}
$$

$$
RSS_{Fj} = E_F d^{-\beta}_{Fj} h_F 10^{\xi / 10}
\tag{2}
$$

其中，$RSS_{Mj}$ 表示第 $j$ 辆车辆将宏蜂窝基站作为其传输站时接收到的信号强度。当第 $j$ 辆车辆选择毫微微基站时，车辆接收到的信号强度可由 $RSS_{Fj}$ 表示。$d_{Mj}$ 表示车辆与宏蜂窝基站之间的距离；$d_{Fj}$ 也可表示从车辆到毫微微基站的距离。$h_M$ 和 $h_F$ 分别表示宏蜂窝基站和毫微微基站的信道增益；$\beta$ 表示路径损耗指数。

在传播损耗模型中，我们采用 Okumura–Hata 模型用于大尺度衰落信道，该模型表示服从均值为零、标准差最大为 12 dB 的高斯分布的阴影衰落。其中，12 dB 为衰落容限。因此，$\xi$ 可表示为均值为零、标准差最大为 12 dB 的高斯分布随机变量[30]。

4.2. 马尔可夫决策策略的方法论

基站选择的基本思想如图2所示。本文的目的是为蜂窝车联网（C‐V2X）中的车辆提供基站选择，该策略基于马尔可夫决策策略。为实现这一目标，我们将此目标分解为两个子问题。第一个子问题是提供一种支持基站选择的策略；第二个子问题是提供一种方法来解决基站选择中复杂的决策问题。为解决第一个子问题，我们提出了一种预测下一秒位移概率并实现接收信号强度的方法。为解决第二个子问题，我们提出了将毫微微基站冗余作为毫微微基站选择概率的方法。

4.3. 提出的框架

图3展示了马尔可夫决策策略的工作流程。首先，所有车辆的速度和运动方向被传输到数据中心。然后，基于我们提出的方法，从现有的车辆状态中获取来自两种基站的预期接收信号强度。根据马尔可夫决策策略，这两种信号强度被用作基站选择的收益。接着，对所有车辆进行排序。之后，所有车辆竞争毫微微基站的资源。最后，通过不同的排列组合获得最佳选择策略。

4.4. 马尔可夫决策策略

在马尔可夫决策策略中，我们将每辆车视为一个竞争者。我们枚举所有车辆选择的序列，并允许所有车辆按顺序选择基站。前一辆车的选择会影响下一辆车选择的转换概率。换句话说，偏好毫微微基站资源的车辆会减少后续车辆选择毫微微基站的机会。该过程如算法1所示。

对于所有车辆而言，选择宏蜂窝或飞蜂窝基站的机会是相同的。我们让所有车辆竞争毫微微基站资源。优先选择毫微微基站的车辆在获取毫微微基站服务方面具有优势，而其他车辆使用毫微微基站的机会则较少。车辆从宏蜂窝和毫微微基站获得的信号强度通过其在下一秒的位置进行预测。为了体现车辆选择的优先级，我们采用马尔可夫决策策略进行选择。

(1) 将 $n$ 辆车辆按照所有排列组合进行排序。然后，为第一个用户选择毫微微基站，因此共有 $n!$ 种排序结果。
(2) 剩余的车辆均有相同的机会选择宏蜂窝或毫微微基站。因此，共有 $n! \cdot 2^{(n−1)}$ 种选择可能性。
(3) 获取每个用户选择的转换概率。
(4) 将相应的预测的 RSS 和转移概率作为车辆的价值函数。
(5) 所有序列的价值函数之和即为该选择序列的序列值。
(6) 价值最高的序列是最优选择序列，序列中每辆车所选择的基站即为下一秒的最佳基站选择。

算法1 马尔可夫决策策略

车辆(n)，车辆.RssM，车辆.RssF，布尔 车辆.小基站 // M = 0，F = 1
小基站容量 = F
小基站计数器
生成多维数组:
车辆数组[x^(n‐1)][n!][n]//data_type array_name[表][row][column]
...
for(i=1; i<=n!; i++) //表
{
    for(j=1; j<=2^(n‐1); j++) //行
    {
        小基站计数器 = 0//初始
        总Rss = 0
        for(k=1; k<=n; k++) //列
        {
            如果 k = 1则 n 个车辆[j][i][k].微微蜂窝 = 1
            Rss值 = (车辆[j][i][k].飞蜂窝基站 => get(0:RSSM, 1:RSSF)) * ((F - 小基站计数器)/F)
            总Rss = 总Rss + Rss值
            记录总Rss，i，j
            ...
            ...
            如果 车辆[j][i][1].微微蜂窝 == 1则小基站计数器 +1
        }
    }
}
...
从总Rss中选择最佳Rss值，打印车辆数组[i][j][1到n]

为了清楚地描述上述机制，我们在图4中提供了一个示例。数字表示标记的车辆（例如1,2,3…n）。M表示车辆选择的宏蜂窝基站，F表示车辆选择的毫微微基站。这里我们强调，第 $j$ 辆车所选择的基站对应相应的接收信号强度 $j$。

5. 预测接收信号强度

在宏‐毫微微蜂窝系统中，当第 $j$ 辆车辆随机移动时，我们需要预测其下一步的位置。

图5显示，作为系统提供的路径，车辆沿前一步方向移动的可能性非常高，而沿相反方向移动的可能性非常低。下一个可能的移动位置可以视为一个圆，即车辆当前位于位置 $a$，并在下一秒移动到位置 $b$。因此，我们可以将位移定义为一个矢量。在下一秒，用户的位置 $c$ 可以描述为一个圆，该圆的圆心是位置 $b$，平均移动速度 $r$ 为圆半径。我们假设用户在下一秒沿矢量方向 $\vec{ab}$ 前进的概率较高（$P_H$）。相反矢量方向 $\vec{ab}$ 的概率较低（$P_L$）。对于剩余概率，即向左或向右转弯的情况，我们设定概率为 $P_M$，表示该区域具有正常概率。$P_H$、$P_M$ 和 $P_L$ 如图5所示，满足关系：$P_H > P_M > P_L$。

假设车辆的平均移动速度为 $r$ m/s，该数值依据宏蜂窝基站数据库的统计学数据。车辆的位置 $c$ 可表示为一个圆，位置 $b$ 为该圆的圆心，$r$ 为该圆的半径。

因此，对于第 $j$ 辆车辆，位移概率函数可以表示为：

$$
D_{Mj} = P_H \cdot \hat{M}_H^j + P_M \cdot \hat{M}_M^j + P_L \cdot \hat{M}_L^j
\tag{3}
$$

$$
D_{Fj} = P_H \cdot \hat{F}_H^j + P_M \cdot \hat{F}_M^j + P_L \cdot \hat{F}_L^j
\tag{4}
$$

当第 $j$ 个车辆选择宏蜂窝基站时，$\hat{M}_H^j$ 表示车辆位移的高概率；$\hat{M}_M^j$ 表示车辆位移的正常可能性；而 $\hat{M}_L^j$ 表示在值范围内车辆位移的低概率。

当第 $j$ 辆车辆选择微微蜂窝基站时，$\hat{F}_H^j$ 表示车辆位移的高概率；$\hat{F}_M^j$ 表示车辆位移的正常可能性；$\hat{F}_L^j$ 表示在值范围内车辆位移的低概率。

在图6中，我们将第 $j$ 辆车的当前位置坐标定义为 $(0, 0)$。然后，选取任意方向作为极坐标的正方向。$\theta$ 表示车辆与正方向之间的夹角；$\theta_0^j$ 表示前一个运动步长与正方向之间的夹角；$\theta_M^j$ 表示宏蜂窝基站与正方向之间的夹角；$\theta_F^j$ 表示毫微微基站与正方向之间的夹角。宏蜂窝基站的极坐标可表示为 $(D_{Mj}, \theta_M^j)$。车辆到毫微微基站的极坐标可表示为 $(D_{Fj}, \theta_F^j)$。下一秒的位移矢量可表示为 $(r_j, \theta_j)$。概率集可用 $\hat{M}_H^j$、$\hat{M}_M^j$、$\hat{M}_L^j$、$\hat{F}_H^j$、$\hat{F}_M^j$、$\hat{F}_L^j$ 表示。

根据公式(1)和(2)，我们可以得到功率密度函数：

$$
H_{Mj}(\theta) = E_{Mj} h_M \left[(D_{Mj} \cos\theta - r\cos\theta)^2 + (D_{Mj} \sin\theta - r_j \sin\theta)^2 \right]^{-\beta/2} 10^{\varepsilon / 10}
\tag{5}
$$

$$
H_{Fj} (\theta) = E_{Fj} h_{Fn} \left[(D_{Fj} \cos\theta - r\cos\theta)^2 + (D_{Fj} \sin\theta - r_j \sin\theta)^2 \right]^{-\beta/2} 10^{\varepsilon / 10}
\tag{6}
$$

因此，转移奖励函数也可以表示为：

$$
RSS_{Mj} = \frac{1}{2\pi} \int_0^{2\pi} H_{Mj} (\theta) d\theta
\tag{7}
$$

$$
RSS_{Fj} = \frac{1}{2\pi} \int_0^{2\pi} H_{Fj} (\theta) d\theta
\tag{8}
$$

6. 马尔可夫决策策略拓扑结构

在马尔可夫决策策略中，未来状态仅依赖于当前状态而非之前的状态。为了应用马尔可夫决策策略来建模基站选择过程，我们必须定义网络状态、动作、转移概率和价值函数。通过与组合价值函数的比较，我们可以做出最优决策。具体细节如下所述。

6.1. 状态

在状态 $S$ 中，$n$ 辆车辆按所有排列组合进行排序。为第一辆车选择飞蜂窝基站。因此，在状态 $S$ 中共有 $n!$ 种排序结果。

6.2. 动作

当车辆移动时，宏蜂窝基站根据当前状态 $S$ 分配响应资源。在本文中，动作 $A$ 可表示为：
$$
A = {{M},{F}}
\tag{9}
$$
其中 $M$ 表示系统选择宏蜂窝基站作为通信基站，而 $F$ 表示系统选择毫微微基站作为通信基站。

6.3. 转移概率

转移概率仅依赖于当前状态，而非之前的状态。由于毫微微基站的发射功率较小，其连接用户数量有限。为了避免毫微微基站达到最大使用限制，我们采用毫微微基站使用的冗余概率作为转移概率。

$n$ 辆车辆进行排序，并按顺序选择基站。为确保毫微微基站的使用率不为零，第一辆车辆选择毫微微基站。$i$ 次（$i \in n$）选择中毫微微基站的利用率是 $P_i$，冗余使用概率为 $1-P_i$。因此，宏蜂窝基站在第 $(i+ 1)$ 次选择的选择概率为 $P_i$，毫微微基站的选择概率为 $1-P_i$。因此，蜂窝基站的使用率 $P_n$ 可表示为：
$$
P_n = \frac{f_i}{F}
\tag{10}
$$
其中 $f_i$ 表示第 $i$ 种选择中连接到飞蜂窝基站的用户数量，$F$ 表示连接到飞蜂窝基站的最大车辆数。

如果车辆在第 $i$ 次选择中选中宏蜂窝基站，则在第 $(i+ 1)$ 次选择中，选择宏蜂窝基站的概率为 $P_{i+1}= P_i$。因此，选择飞蜂窝基站的概率仍为 $1-P_i$。如果车辆在第 $i$ 次选择中选中飞蜂窝基站，则在第 $(i+ 1)$ 次选择中，选择宏蜂窝基站的概率为 $P_{i+1}= \frac{f_{i-1} +1}{F}$，选择飞蜂窝基站的概率为 $1- \frac{f_{i-1} +1}{F}$。

6.4. 价值函数

在马尔可夫选择策略中，每次状态选择对应一个概率，每次做出的选择对应一个奖励。因此，概率与奖励的乘积即为该选择的期望。对选择的质量判断是将每个选择的期望求和，即价值函数。本文中，价值函数也可理解为系统中车辆选择状态的预期接收信号强度和。奖励是在车辆选择后获得的。奖励函数可以视为接收信号强度，如公式（1）和（2）所示。

因此，在车辆运行期间，基站选择的最佳策略是 $\pi$：
$$
\pi = \arg\max\left{(P_{i-1}RSS_M),[(1-P_{i-1})RSS_{Fj}]\right}
\tag{11}
$$
我们使用下一位置的预测信号强度作为奖励，并结合基站的冗余度来确定正确的基站选择。这不仅保证了信号传输质量，还避免了毫微微基站的过载。

7. 仿真结果

由于车辆速度有限，如果车辆距离宏蜂窝基站较近，则下一秒切换到微微蜂窝基站的概率较小。同样，如果车辆非常接近微微蜂窝基站，则下一秒移动到宏蜂窝基站的可能性较低，但车辆可能更倾向于选择微微蜂窝基站。

在现有选择方法中，用户选择两个基站中预测的RSS较大的那个。因此，我们主要讨论车辆在宏蜂窝和微微蜂窝基站覆盖范围内的关键位置处的选择。由于车辆的奖励函数与车辆的运行速度和运动方向相关，因此车辆的基站选择取决于不同的运行速度和运动方向。在此关键区域，当车辆选择毫微微基站超出用户限制时，我们讨论系统采用马尔可夫决策策略和非马尔可夫决策策略时的平均接收信号强度。

我们假设在毫微微基站的覆盖范围内有150辆随机分布的车辆，该基站最多可为100辆车辆提供服务。我们将车辆速度设置为2、4.5和30米/秒。在前一步的速度下，图中标记的点表示通过仿真获得的真实值；然后，将这些值归一化到图中的直线上。

我们使用MATLAB对基站选择问题进行了仿真。本仿真中使用的所有参数如表1所示。这里，我们设定 $h_M = h_F$。

表1. 仿真参数

参数	值
路径损耗指数 $\beta$	2
宏蜂窝发射功率 $E_M$	300 w
微微蜂窝发射功率 $E_F$	300 mw
宏蜂窝覆盖范围	1000 m
毫微微蜂窝覆盖范围	100米
高概率 $P_H$	0.6
正常概率 $P_M$	0.3
低概率 $P_L$	0.1
微微蜂窝的奖励 $P_F$	0.7
高概率 $P_H$	0.6
正常概率 $P_M$	0.3
低概率 $P_L$	0.1
用户移动速度	2、4.5、30 米/秒
高车辆位移概率 $\hat{M}_H^j$	120°
正常车辆位移概率 $\hat{M}_M^j$	120°
低车辆位移概率 $\hat{M}_L^j$	120°
高车辆位移概率 $\hat{F}_H^j$	120°
正常车辆位移概率 $\hat{F}_M^j$	120°
低车辆位移概率 $\hat{F}_L^j$	120°

我们假设移动速度为 2 米/秒（低速），其中 $\theta_0$ 是用户上一步的位移角，随机设置这些变量。在 图 7–9 中，三种不同的颜色表示宏蜂窝和微微蜂窝基站所在的不同位置。图7显示了选择宏蜂窝基站时在低速情况下获得的预期接收信号强度。图8显示了选择毫微微基站时在低速情况下获得的预期接收信号强度。根据传统基站选择策略，系统会选择较大的一个。如图9所示，在低速环境下，宏蜂窝基站和毫微微基站的预期信号强度保持稳定。这意味着传统基站选择策略在低速环境中的优势并不明显。

从图7和8的结果可以看出，通过传统基站选择策略在低速移动时无法明显改变接收信号强度。

在此，我们将速度改为4.5m/s（中速），$\theta_0$ 被随机设置，三种不同颜色代表宏蜂窝基站和微微蜂窝基站所处的不同位置。图10显示了我们在中速情况下选择宏蜂窝基站时获得的预期接收信号强度。图 11显示了我们在中速情况下选择毫微微基站时获得的预期接收信号强度。如图12所示，与传统基站选择策略相比，在中速情况下有较小的效率提升。

然后，我们假设移动速度达到30 米/秒（高速），且 $\theta_0$ 也被随机设置。三种不同的颜色代表宏蜂窝基站和毫微微基站所在的不同位置。图13显示了在高速情况下选择宏蜂窝基站时获得的预期接收信号强度。图14显示了在高速情况下选择毫微微基站时获得的预期接收信号强度。从图15可以看出，与传统基站选择策略相比，采用基站选择的方式更为高效。因此，在高速情况下，车辆优先选择毫微微基站的优先级较高。

因此，从图7–15可以看出，当车辆进行基站选择时，传统基站选择策略在低速和中速情况下难以做出选择，而我们提出的基于马尔可夫决策策略的基站选择策略可以解决这一问题。

为了将我们提出的基站策略与传统基站策略进行比较，我们在毫微微基站的覆盖范围内随机分布了150辆车辆。所有车辆的初始运动角度是相同的。由于运动速度不同，下一秒的预期接收信号强度也不同。当所有车辆的运行趋势均为飞蜂窝基站时，我们假设了不同的车辆初始运动角度。根据传统基站选择策略，所有车辆的预测基站均被选择为微微蜂窝基站。然而，由于微微蜂窝基站的容量上限为100，因此会有50辆随机车辆选择宏蜂窝基站。根据我们提出的马尔可夫决策策略，我们提出了基站选择序列，并基于价值函数获得最优选择。在图16中，蓝线的结果表示车辆在传统基站选择策略下获得的平均接收信号强度。在下一秒选择中，无论移动角度如何，接收信号强度变化不大。然而，采用马尔可夫决策策略后，我们优先选择高优先级车辆接入飞蜂窝基站，从而提升了车辆的平均接收信号强度。

8. 结论

本文研究了基于马尔可夫决策策略的C‐V2X系统基站选择策略。根据车辆的移动方向和移动速度，提出了一种预测下一步位移概率的方法。由于车辆竞争毫微微基站资源，车辆的排序可得到不同的排序序列。通过比较每种策略的最大值函数，可以获得最优基站选择方案。仿真对比了马尔可夫决策策略与非马尔可夫决策策略的有效性。马尔可夫决策策略能够保证系统传输的信号质量良好，同时确保毫微微基站的使用率不会达到上限。当毫微微基站区域发生资源冲突时，资源将被合理分配，以提升系统服务质量。