无人机边缘计算延迟测量

面向自主无人机的边缘计算测量研究

1 引言

观察和分析周围环境以辅助决策的能力对于实现完全自主操作至关重要。可能复杂的信号处理和机器学习算法会实时将传感器数据流转化为控制指令。例如，最近的研究成果提出了基于视频输入的深度神经网络（DNN）架构用于控制导航。[8],中展示了一个此类DNN示例，该模型支持无人机在城市环境中的导航。然而，由于这些空中平台固有的局限性，执行支持无人驾驶航空器（UAV）自主操作的感知‐处理‐控制流水线面临技术挑战。传统的无人机设计原则是在单个无人机上完成整个流水线处理，这可能导致功能减少、任务性能下降、因捕获到控制的时间较长而导致对刺激响应延迟，以及因额外能耗而缩短任务时间。此外，在机载设备上执行更高级别的功能，如在线学习，以及支持通用任务目标的先进算法——e.g.，目标检测——是一项需要克服的技术挑战。

来自基础设施或附近其他设备的协助可以缓解此类限制 [2, 3, 9]。根据近期的边缘与雾计算范式[1],，无人机可将计算密集型任务卸载到能力更强且互连的设备上，从而节省能量，并可能增强其对外部刺激的响应能力。

然而，虽然在机载系统上执行完整的感知‐分析‐控制流程会产生可预测的从采集到输出的延迟，但任务卸载则引入了相当程度的不确定性。事实上，由于信息通过无线链路传输并在远程服务器上处理，这两个组件的状态会影响从信息采集到无人机获得控制指令之间的总时间。信道增益、干扰、网络负载和服务器负载等难以预测且通常未知的参数都会影响总延迟的统计特性。即使所有这些参数保持不变，复杂的协议交互和环境特征仍会引发难以控制或表征的模式。

受Hydra（一种用于分布式空中与地面系统中弹性协同计算的架构）发展的启发，本文报告了一项关于此类应用中边缘计算性能和特性的实证研究。为了开展该研究，我们开发了一种模块化的感知‐分析‐控制架构，支持通用计算任务的卸载。该架构允许将模块分布于由空中和地面资源组成的无线互联系统上。我们围绕目标跟踪开展了一项案例研究，其中无人机导航依赖于算法输出的边界框。直观上，从图像捕获到控制指令生成之间的时间（即捕获到控制的时间）决定了无人机跟踪目标物体的能力。本文的测量研究在一个真实平台上报告了两种关键通信技术——Wi‐Fi和LTE下的捕获到控制时间的时空特性。其中LTE通过软件定义无线电（在无人机和边缘服务器端均使用）以及srsLTE [4]软件进行仿真。

本文的其余部分组织如下。第2节描述了本文考虑的应用，并对边缘或雾计算的影响进行了一些初步探讨。在第3节中，我们介绍了用于获得第4节所讨论结果的实验平台。第5节对本文报告的经验做了一些最终总结。

2 应用与初步讨论

我们将讨论聚焦于一个相对简单但具有代表性的案例研究，其中无人机的任务是跟踪预设类别中的目标，例如行人或车辆。

图2展示了该应用的示意图。无人机以恒定速率获取图像。每张图像通过目标检测算法进行分析，以检测感兴趣的目标类别。算法检测到的选定目标的边界框用于确定无人机的运动。具体而言，控制函数计算从图像中心到相应边界框的中心的向量。然后，该向量被转换为速度和方向指令。

我们定义从图像捕获到控制发出的时间为 capture-to-control delay。直观上，最小化捕获到输出的延迟对于实现无人机对目标物体移动的快速响应和有效跟踪至关重要。

感知‐分析‐控制流程的主要瓶颈在于分析算法。最先进的目标检测通过复杂的算法实现，例如深度神经网络（DNN）。一个例子是RetinaNet [7],，它在前馈ResNet架构（根据版本不同为50到100层）之上采用了金字塔网络骨干。这些深度神经网络在分类和边界框精度方面均提供高精度，从而在所考虑的应用中实现精确导航。

然而，在资源受限的嵌入式设备上执行此类复杂算法可能根本不可行，或导致过高的捕获到控制延迟和能耗。这些深度神经网络的简化版本虽降低了计算复杂度，但代价是性能下降。YOLO [11] 就是这类方法的一个例子，它是一种高度优化的软件，但会降低输出的精度，尤其是在边界框精度方面。目前也存在专为移动设备定制的简化深度神经网络 [5, 6]，对应于复杂度与精度权衡曲线上的不同点。

将这些计算密集型任务从流水线卸载到相互连接的具备计算能力的设备（如边缘服务器）上，可以显著减少捕获到控制延迟并降低能耗。然而，卸载需要通过无线传输将机载传感器产生的信号/信号以及远程输出进行传输

生成的。在所考虑的应用场景中，机载传感器捕获的图像会定期传输到服务器，服务器执行DNN（分析）并计算控制命令 （control），然后将这些控制命令发送到无人机。

如前所述，卸载会引入一定程度的不确定性：

• 无线链路 ： 图像和控制消息的持续传输通过无线链路进行，其短期容量受信道增益、干扰、网络负载以及细粒度协议交互等时变因素的影响。
• 服务器 ： 任务在服务器上的执行时间是随时间变化的负载以及资源分配策略的函数。

本文的目的是分析在真实世界平台中，通过不同通信技术的捕获到控制的延迟模式。

3 实验平台

我们开发的实验平台在一个分布式无线互联系统上实现了前一节中描述的应用。接下来，我们将介绍其硬件和软件组件。

3.1 Hydra 和硬件

我们简要描述一下我们的开发工作所针对的整体系统，以便为本研究提供一些背景。HyDRA——面向异构自主设备的弹性计算——是一种中间件架构，能够在互联系统中实现构成自主性流水线的模块的动态迁移。其目标是在尽可能降低捕获到控制延迟的同时，最小化信道和计算资源的使用量。该系统是分层的，由三个层级组成：无人机用户、无人机服务器和地面服务器。

我们的目标是探索各种处理和通信选项。因此，我们在无人机和地面服务器上配备了嵌入式设备和软件定义无线电（SDR）。

• 无人机用户 ：一款轻量级的3DR Solo 无人机配备了云台和GoPro相机。增加了一个3D打印结构，用于支撑Up Board、Ettus Research USRP B200mini以及锂高电压 （11.4V/5.2 Ah）电池。3DR Solo上的默认机载计算机 （IMX6）仅用于引出Pixhawk飞控的遥测2端口，以便通过USB串口连接到UPboard。UP Board运行 Ubuntu 16.04操作系统，以支持所有机载计算软件以及无线电通信软件套件。
• 无人机服务器 ： 大型无人机国际X6S无人机配备了一个 Jetson NVIDIA TX2和一个Ettus Research USRP B210。Jetson TX2板载NVIDIA Pascal系列GPU，用于高性能计算，并运行Ubuntu 16.04与内核4.4。
• 地面站‐服务器 ： 地面边缘服务器使用配备 Intel Core i7‐7700HQ CPU（8核，2.8 GHz）和 16 GB内存 的笔记本电脑实现，该笔记本电脑连接到接入点或基站。

所有设备还配备了Wi‐Fi适配器，以实现Wi‐Fi通信能力。

3.2 软件

图3展示了为实现分析与控制功能在互联系统中的分布而开发的模块化流水线。每个模块封装了一个功能，并包含一个输入队列和一个输出队列。模块在逻辑上抽象了构成流水线的功能，使其与相邻操作相互隔离。模块具有原子性，可以轻松地进行替换，甚至动态替换。模块化是实现在设备内多线程并行化的必要条件。显然，与环境交互的模块没有“数据”输入（e.g. 传感器）或输出（e.g. ，执行）。

输入队列和输出队列为整个流水线中的信息流动提供了灵活性。我们注意到，在本研究中，一些输入和输出队列通过套接字连接到Wi‐Fi或LTE协议栈。由于模块处理时间存在不确定性，因此队列机制至关重要。例如，当连接无人机用户与服务器的链路容量发生变化时，图像转发的时间可能会增加，因此必须引入队列机制。在此，我们将队列大小设置为1，并在所有模块上实施激进的抢占策略，即新捕获的图像、分析输出和控制指令将取代队列中已存储的旧数据。这有助于最小化累积延迟。针对性能指标（如捕获到控制延迟）的评估日志记录在输入和输出队列中进行。具体而言，捕获到控制延迟是指数据点插入传感器输出队列到控制消息插入相应输出队列之间的时间间隔。完整的HyDRA架构包含多个流水线内的动态路由，以及基于系统日志控制路由路径的逻辑。

对于LTE通信，用户无人机配置为符合3GPP第8版的用户设备（UE），并使用srsLTE 18.03版。我们在机载和地面服务器上使用配置为eNodeB和核心网（EPC）的srsLTE 18.12版。

4 实验结果

4.1 实验设置

图4显示了无人机的实验设置及其用于通信、计算和控制的硬件组件。实验在大型户外环境中进行。无人机与地面服务器通过Wi‐Fi（使用Wi‐Fi适配器）或LTE（通过实现srsLTE的可编程无线电）连接。

无人机的运动基于飞控器上的预编程任务实现完全自主飞行。为了表征应用在空间和时间上的捕获到控制延迟，我们禁用了无人机跟踪物体的功能，转而编程了一个预定义的飞行计划。具体而言，无人机分步自主移动以达到特定距离，并在每个距离处悬停1分钟。

我们专注于单个无人机和地面服务器的拓扑结构。地面服务器运行在配置为接入点或基站的同一台笔记本电脑上，从而确保接收之间的最小延迟

参数	值
WiFi标准	IEEE 802.11b 和 802.11n
WiFi带宽	20兆赫
WiFi频段	信道1（2.412吉赫）
LTE下行EARFCN	3400
LTE带宽	10兆赫
LTE天线模型	SISO
LTE用户设备发射天线增益	110分贝
LTE eNodeB接收天线增益	40 分贝
LTE RLC 模式	确认模式（RLC AM）
LTE MAC 调度器	轮询调度
TCP 拥塞控制	Cubic

表1：用于WiFi和LTE的实验参数

为了测量外部流量对延迟模式的影响，我们在接入点（ AP）或基站附近设置了一个额外的静止用户，并通过TCP以不同频率周期性地生成较大的数据帧——对应不同的数据速率。需要说明的是，该区域并未与外部通信和干扰隔离。

在实验中，传感器模块获取图像（480×640 RGB像素，使用JPEG压缩至26 KB）。分析模块执行轻量级DNN进行目标检测（SSD‐lite mobilenet v2 2018‐09）。本文将研究范围限定于来自无人机用户的处理流水线，并在地面站服务器上进行分析定位。DNN模型的执行在Up Board和地面服务器上分别耗时约1秒和0.07秒。

4.2 结果

图5显示了无人机从地面站飞离时，使用IEEE 802.11n测得的捕获到控制延迟（蓝线）的时间轨迹。橙色线表示基于接收到的遥测数据计算出的与地面站的距离。可以看出，当距离足够小时，IEEE 802.11n的高吞吐量使得总延迟约为0.1秒，其中约0.07秒用于在地面站执行目标检测，约0.03秒用于无线传输图像和控制指令。随着距离增加，平均延迟及其方差均逐渐增大，直到在约35米处发生断连。

图6显示了相同的轨迹——这次是无人机接近地面站时，系统中另一个节点处于活动状态以 15 Mbps 的速率产生流量。我们观察到延迟基线普遍升高 （平均值约为 0.15 秒），且整体延迟方差显著增加。延迟的高峰可能与由于干扰负载导致的 TCP 超时有关。有趣的是，在无人机从静止状态加速时，也出现了明显的尖峰。在之前显示的轨迹中也可以观察到类似但不太明显的尖峰，可能是由于通常较小的延迟，系统对这些尖峰的“吸收”更快。尽管我们没有确凿证据支持的解释，但这些尖峰可能是由于无人机倾斜加速时天线未对准或信道估计出现临时较大误差所引起的。

图7显示了外部节点在不同流量速率下延迟的累积分布函数（CDF）。该CDF通过每秒取平均值，然后对得到的延迟计算CDF得出，以使CDF中的权重更加公平。正如预期，随着竞争加剧，延迟普遍出现性能下降。有趣的是，在0−10 Mbps范围内的竞争场景呈现出阶梯状的CDF形状，其主要区别在于高延迟尖峰出现的概率。竞争数据流的流量越大，阶梯的陡峭程度越小，从而引入中等范围延迟。

图8比较了使用IEEE 801.11n和IEEE 801.11b时获得的 CDF。后者提供的最大吞吐量较低，这一点显而易见。在没有外部流量的情况下，由于通信时间仅占总延迟的一小部分， IEEE 801.11b的最小延迟相比IEEE 801.11n略有下降。然而，仅1 Mbps的外部流量就足以显著增加延迟，使大量延迟转移到 1 −2s范围内。

如图9所示，该图描绘了IEEE 802.11n的捕获到控制延迟的均值和方差随外部流量变化的情况，不仅延迟的均值增加，其方差也随之增加。

图10显示了系统每秒平均处理帧数。标记对应不同的流量速率和IEEE 802.11版本（n为红色，b为绿色）。我们注意到，尽管传感器的帧发射速率是固定的，抢占式排队策略可能会从任何队列中删除帧，从而在转换过程中对生成的序列进行下采样。IEEE 802.11b 对外部流量表现出高度敏感性，这使得该协议不适合建立稳定传输通道。由于其高吞吐量，IEEE 802.11n 能够在性能下降发生前（大约在 20 兆比特每秒时）提供稳定的 8−10 每秒帧数。我们观察到，机载处理流水线将维持约每秒 1 帧的处理能力。

图11 显示了在使用基于SDR的LTE时，延迟的均值和方差随距离变化的情况。蓝色和红色线条分别对应地面静止测量和实际飞行。有趣的是，可以观察到地面测量与飞行之间的显著差异。这可能是由多种因素引起的，包括天线辐射模式、无人机运动以及在较高高度感知到来自活跃的LTE基站的更大干扰。我们观察到，软件定义无线电的功率限制会降低系统性能，与实际蜂窝系统相比，通信范围被限制在数十米——而商用LTE系统的通信范围可达数百米。

图12 中报告的轨迹显示，随着无人机与地面服务器之间距离的增加，延迟尖峰数量迅速上升。我们注意到，延迟基线约为 0.15 秒，在 20 米处发生断连。需要指出的是，实验并非在隔离环境中进行，某些高延迟段可能由其他活跃的LTE发射器引起。未来研究将使用其他无线电设备来测量所用频段中的输入能量，并将其与延迟相关联。

4.3 讨论

本节展示的结果强调了此类应用中卸载的一个关键方面：来自空中设备的无线链路极不稳定。实验中观察到其对距离、物理方向以及外部环境条件（如其他活动的数据流）的敏感性。在基于Wi‐Fi的通信中，不同设备的介质访问控制（MAC）与传输层协议之间的相互作用，导致了小尺度和大尺度上的延迟和延迟方差增加。

时空轨迹。LTE提供了一种更稳定的复用策略。然而，至少在我们测试平台所使用的基于SDR的设置中，延迟模式表现出较高的方差，这可能由物理层因素引起，例如不受控制的小区间干扰、天线对准以及有限的功率。

显然，依赖单一的通信‐计算循环来执行关键任务会严重损害对无人机进行可靠控制的整体能力。这进一步促使我们致力于开发一种系统，能够根据感知到的环境变化，动态地在资源之间迁移传感‐处理‐控制流水线。重要的是，大多数延迟的 CDFs呈现出阶梯状行为，对应于聚类延迟区域，而时间轨迹表明，较高的延迟通常以短期尖峰的形式出现。因此，普遍的认知是，大多数粗粒度环境参数对瞬时延迟的预测能力较差，而在这一类系统中构建能够克服无线信道时间变化性的策略是一个重要的技术挑战。

5 结论

受Hydra（一种用于分层无人机系统上实现弹性协作处理的架构）开发的推动，我们展示了一项关于将计算任务从自主无人机迁移到互连服务器所实现性能的测量研究。我们特别关注一类基于目标检测导航的应用中的捕获到控制延迟。我们的实验设置包括多种通信选项：使用srsLTE开源软件在SDR上模拟的IEEE 801.11b、n和LTE。收集的测量数据强调了飞行过程中链路的不稳定性，以及需要额外的智能层来动态选择最佳可用选项。