基于视觉的盲人运动导航系统

IEEE智能交通系统汇刊，第19卷，第2期，2018年2月 649

机电系统以帮助视觉障碍用户在步行和跑步过 程中
阿德里亚诺·曼奇尼，IEEE会员，埃马努埃莱·弗龙托尼，IEEE会员， 和普里莫·津加雷蒂，IEEE高级会员

摘要

环境辅助生活与智能交通系统正变得紧密关联。有必 要通过为残障人士开发包容性出行解决方案来提高生活质量。本 文重点研究一种基于单目视觉的系统，用于在户外环境中辅助残 障用户进行步行、慢跑和跑步。该系统引导残障用户沿着专用跑 道上的车道或线条所表示的路径行进。我们开发了一套图像处理 算法，用于提取需要跟随的线条/车道。该嵌入式系统基于一个 小型摄像头和一块负责处理图像并与所开发的触觉设备通信的电 路板。该触觉设备由一副配备有振动电机的手套组成，通过振动 引导用户朝正确方向移动。振动序列由类机器人控制器生成，将 用户视为一个两轮转向机器人，其旋转和移动速度均可被控制。
实验结果表明，整个系统能够准确识别正确路径，并通过手套向 用户提供适当的刺激，最高可在超过10 km/h的速度下正常工作。

Index Terms— 残障人士，视觉导航，嵌入式系统，单目视觉。

一、引言

MOST 的时间内，智能交通系统（ITSs）支持健全用 户安全高效地使用交通系统（例如汽车）。当用户存在某 种残疾时，就会出现问题。在这种情况下，考虑到基础设 施障碍[1]，使用交通系统可能确实是一项挑战。

根据世界卫生组织2011年报告[2]，全球15%的人口 至少面临一种类型的残疾，例如身体、视觉或听觉障碍。
显然，有必要重新思考智能交通系统的概念，智能交通系 统应成为推动包容性服务的技术驱动力。正如《欧洲残疾 战略2010‐2020[3]所指出的，有必要投资于消除基础设 施障碍。这一过程需要长期的规划，而在实际城市中实施 并不容易，主要是由于成本问题。尽管如此，考虑到这一 范围

稿件于2017年2月6日收到；2017年6月27日和2017年10月20日修订； 2017年11月22日接受。出版日期为2018年2月1日；当前版本日期为2018年 2月1日。本文的副编辑为M. Bertozzi。(通讯作者：Adriano Mancini。)
作者单位：意大利安科纳马尔凯理工大学信息工程系，邮编60131（电子邮件：a.mancini@univpm.it；e.frontoni@univpm.it； p.zingaretti@univpm.it）。本文中一张或多张图的彩色版本可在线获取， 网址为 http://ieeexplore.ieee.org。数字对象标识符 10.1109/TITS.2017.2780621

针对残疾问题，有必要专注于特定的问题。所开发的解决 方案随后可以集成到更大的系统中，从而进一步提高残障 人士的生活质量。例如，电子导航辅助设备[4] 可支持 残障人士在复杂环境中自主导航。

残疾的范围广泛且多样化。我们决定将关注点集中在 从事体育活动（包括各个水平）如慢跑和轻度跑步的视障 人士。残障人士的体育活动在《残疾人权利公约》第30条 中有明确说明[5]。

残障人士的步行/跑步活动需要遵循在坡度、粗糙度、 宽度以及与其他交通通道（如人行道、自行车道和人行与 自行车混合道）交互方面合适的路径。路径规划不在本研 究范围内，但曼奇尼et al.[6],[7]提出了一种专用的路线 规划器，该规划器考虑了路径的宽度、人行横道和坡度等 约束，从而能够在复杂城市环境中实现残障人士的安全导 航。

视障人士在步行/慢跑时的导航大多在户外进行，这 一特点对所需感知环境的传感器类型构成了约束，同时还 需适应阳光、阴影等变化。引导用户沿指定路径安全行进 的问题与自动驾驶汽车必须遵循车道并根据交通状况调整 速度的问题非常相似。残障用户需要持续获得关于其方向 和速度的反馈信息。

本文提出了一种视觉系统，用于识别给定路线上的线 条和车道。估计出的线条或车道代表参考路径。通过向专 用手套提供振动反馈，来校正用户相对于期望路径的距离/ 方向。振动提示用户改变速度或通过向左/右转来改变方 向。在此情况下，残障用户的行为类似于差动轮式机器人， 便于人类用户改变速度或向左/右转。控制器的设计基于 专用的仿真引擎，评估了纯追踪方法和模糊推理系统。选 择振动刺激的原因是考虑到声音反馈可能会干扰用户体验 以及对周围环境的感知。

本文的组织结构如下。在第二节中，介绍了相关工作，特别 关注导航方面。

1524‐9050 © 2018 IEEE.个人使用许可，但重新出版/分发需获得IEEE许可。更多信息请见 http://www.ieee.org/publications_standards/publications/rights/index.html
本文档由 funstory.ai 的开源 PDF 翻译库 BabelDOC v0.5.10 (http://yadt.io) 翻译，本仓库正在积极的建设当中，欢迎 star 和关注。

650 IEEE智能交通系统汇刊，第19卷，第2期，2018年2月

为残障人士提供辅助的系统

第三节描述了系统架构（包括硬件和软件）。第四节介绍了图像处理流程，而第五节 描述了如何利用源自移动机器人技术的控制器计算刺激信 号。第六节讨论了实验结果，第七节概述了结论及未来工 作。

II. 相关工作

根据[4] ，面向视障人士的电子导航辅助设备可以 增强、替代或取代视觉。增强方法依赖于视觉显示，该显 示呈现来自摄像头的处理数据[8],[9] （例如虚拟现实系 统、智能眼镜）。由于增强和替代方法涉及视觉皮层，因 此与取代方法有显著不同，且不在本研究的范围之内。

视觉替代则假设输入来自摄像头的数据流，而输出并 非视觉信息，而是听觉、触觉或振动信息。这种方法与智 能交通系统和移动机器人学非常接近。

视觉替代系统可进一步分为电子出行辅助设备（ ETAs）、电子定向辅助设备和定位设备。顾名思义， ETAs 是对视觉残障用户有用的设备。ETAs 基于一组传 感器（不仅限于摄像头），能够感知环境并识别路径上可 能存在的障碍物。它们通过多种感官模式提供反馈，以引 导用户到达特定位置，或在遇到障碍物时向用户发出警示。

白手杖就是一种 ETA 设备，已有许多相关方法被提出[6]。

实际上，有许多研究人员正在研究利用电子导航辅助 设备（ETAs）的辅助技术模型。在[10]中可以找到有关辅 助技术模型的有趣综述与分析。我们开发的嵌入式系统符 合人与技术匹配模型（MPT）。原因是通过使用所提出的 设备，可以在具有挑战性的中等/环境条件下应对，同时考 虑使用该设备时的技能限制（无需复杂培训）所涉及的需 求/偏好和个人倾向，以及期望的功能（使用设备时无不适 和压力）。

现有方法通常适用于室内外环境中的城市导航[11]– [13]。针对慢跑/跑步等体育活动的ETA设备的研究与开发， 相较于标准导航而言尚不充分。这一需求在实际体育赛事 中也有所体现，这些赛事同样面向视障人士，例如在上届 波士顿马拉松中，约有一百名视障跑步者参赛。一个有趣 的项目是Blindtrack[14],，该项目通过射频设备支持跑 步，如[15]所述。[16]和[17]提出了一种采用RGB‐D方法 引导用户沿路径行进的技术，主要基于车道检测与跟踪。

目前，视障人士仍需依赖引导员，这实际上限制了用户的 独立性。白手杖适用于步行活动，但在某些情况下侵入性 较强。相比之下，可穿戴设备的使用符合低侵入性的要求， 有助于提升用户的独立性包容。在过去几年中，可穿戴设备的研究引起了研究人员 的关注，而不仅仅局限于健全用户[4],[18]–[20]。还需要 考虑到，用于体育活动的可穿戴设备数量在持续增长，这 得益于蓝牙低功耗堆栈的支持，从而确保了电池的低能耗 续航[21]。

在处理电子导航辅助设备时，重要的是要考虑如何将 控制操作（例如，向左/右转、停止）提供给残障用户。声 音反馈通常利用耳机实现，但这可能会给依赖听觉来“感 知”环境的视障人士带来问题。而以振动形式提供的反馈 则被充分证明是在可用性与功能性之间的一种良好折衷方 案。触觉设备也已被使用，尽管它们并非体育/休闲活动的 最佳选择。

在这种情况下，重要的是要认识到已有大量系统被设 计出来，但跑步和慢跑尚未得到深入研究。

电子导航辅助设备的主要需求包括在已知或未知环境 中实现适当的导航、与残障用户进行交互以提供反馈（例 如听觉、触觉、振动）以及最终实现路径上静态和动态障 碍物的检测。从定位出发，考虑到步行和慢跑通常在户外 进行，基于L1接收器（分米级精度）[27]或L1/L2（厘米 级精度）的实时运动学（RTK）定位系统应能产生有趣的 结果。然而，RTK的使用需要流动站（用户）范围内存在 基站，或通过互联网连接有效接入虚拟参考站，从而增加 系统在成本、重量和功耗方面的复杂性。此外，该方案受 树木/树冠影响较大，可能导致精度显著下降。惯性导航系 统即使在树冠遮挡情况下也能提高精度，但可能对整体用 户体验产生负面影响。

导航涉及多种可用的传感器。超声波[28],[29]和激 光雷达[30],[31]方法都可能受到多重反射或温度、雾、 雨、阳光等环境条件等外部因素的影响。因此，已有人提 出基于雷达[6],[32]或电磁设备的其他方法[33],[34]。还 有一些方法依赖于视觉系统，有时结合深度[16],[35],[36]。

帮助视障人士进行体育和休闲活动并不简单。白手杖 [37]–[39]非常适合在室内/室外环境中导航，特别是低速 路线。由于机械和实际原因，智能行走/跑步与白手杖不 兼容。

本文提出的想法是利用基于视觉的系统与手套上的振 动触觉界面相结合，引导用户朝正确方向行进。本文所解 决的问题是赛道或专用路线情况下的车道/线路跟随[17]。

车道/线路检测是自动驾驶汽车领域的一个典型课题，这 类车辆需要遵循由明确方向设定的路径

曼奇尼等：机电系统帮助视觉障碍用户在步行和跑步期间 651

车道[32],[40],[41]。由于基于纯视觉的系统体积紧凑， 其可用性得以提高，尽管在阴影、阳光和夜间条件下仍存 在一些挑战。为了降低所需的计算能力，同时保持对车道/ 标线位置的精确估计，可以使用单目系统[42] 而不是立体视觉系统[43],[44] 。对于视障人士而言，车道/线路 跟随无需环境的三维地图，尽管三维地图在障碍物检测方 面具有重要意义。基于视觉的传感器是实现精确导航的最 佳候选方案，但需要鲁棒算法来应对阴影及光照变化。障 碍物检测是额外的一层处理，如果通过摄像头实现，则由 于需要对不属于地面估计平面的物体进行分割与跟踪，将 消耗大量计算能力[43]。

III. 系统架构

本节描述了我们嵌入式系统的架构，该系统可帮助视 障人士在进行步行和跑步时实现安全导航。所开发的系统 作为视障人士的智能交通系统，依托嵌入式系统来简化并 增强设计。

该架构由三个主要组件构成：
- 摄像头系统；
- 处理单元
- 触觉设备。

摄像头系统由一个全局快门单色或彩色RGB摄像头组 成，用于检测线条和/或车道。

处理单元负责图像处理（如第四节所述）。该处理单 元在确定允许的最大用户速度方面起着关键作用。此单元 还通过使用蓝牙低功耗等低功耗无线通信技术向触觉设备 发送动作指令。指令通过自定义服务发送（见III‐A）。

我们的系统的触觉设备基于一对用于左右手的手套， 手套上装有定制PCB。处理单元的反馈基于编码了残障用 户需执行动作的振动刺激序列。振动序列通过与振动电机 连接的蓝牙低功耗设备发送。振动序列根据以下方案生成：
- 左手套：频率和强度增加表示“快速向右”；
- 右手套：频率和强度增加表示“快速向左”；
- 两只手套：2赫兹脉冲，脉冲激活持续时间0.1秒，表 示“系统错误或阻挡障碍”（用于进一步开发）；
- 两只手套：在最大振动频率下，1次脉冲且脉冲激活持续时间 0.5秒表示“加速”；
- 两只手套：2次脉冲，脉冲激活持续时间0.5秒，最大振动频率表 示“减速”。

如果用户偏好相反的逻辑，上述方案可以进行反转。

显然，也可以采用其他类型的方案来编码动作。我们倾向 于在某一时刻仅让一只手套产生主动刺激，以避免复杂的 用户交互/动作解码。其他解决方案已提出使用腕带[23]或振动电机环[16],[24]。

振动电机的频率和强度随着电源的增加以相当线性的方 式传递给用户。

A. 架构实例化

考虑到上述架构，我们选择了符合我们要求的组件。

所采用的摄像头是由Matrix Vision制造的 BlueFox MLC200wC，能够以90赫兹的频率对 752 × 480帧进行彩色/灰度采集，并配备了全局快门。

处理单元采用配备全志A20双核1GHz Cortex‐A7处理器和 1GB DDR3内存的Olimex A20‐OLinuXino‐MICRO。运行的 操作系统是在Debian squeeze发行版上搭载内核3.4.90的 Linux[45]。该单元能够运行我们的处理流程，实现平均跑步 速度（2‐3m/s），但如果使用通用图形处理器板，性能可进一 步提升。

触觉设备由一副手套表示，主要基于定制PCB上的两个 组件：
- Bluegiga BLE112设备；
- Parallax C1026B002F振动电机

BLE112设备集成了多种外设，作为一个标准的微控制 器，可通过Bluegiga开发的BGScript[46]脚本语言进行 编程。由于振动电机的电流消耗较大（最大200mA），因 此通过运算放大器和NPN射极跟随器连接至BLE112，该 电路充当基本的电压转电流放大器。BLE112生成脉宽调制 (PWM)信号，随后通过RC网络滤波以驱动振动电机。

PWM频率设置为20赫兹，信号由BLE112的PWM外设直 接产生。系统由电池供电，模块会监测电池电压，并在电 量状态(SoC)较低时通知用户。电压与电量状态(SoC)之间 的关系是通过低电流充放电曲线(0.1C)确定的。从固件 （由编译开发的BGscript生成）的角度来看，我们开发了 三项服务：
- 通用访问配置 profile(GAP)；
- 电池服务；
- 自定义服务

GAP profile是强制性的，可提供基本的功能性。电池服务共享手 套电池的电量状态信息，而自定义服务则实现振动强度的 传输/接收。处理单元使用第五节中描述的控制架构来计算 振动强度和目标手套。

振动强度范围为1到20，因此每只手套仅需1字节。根 据逻辑要求，在某一时刻仅有一只手套处于振动状态，除 非出现误差或阻碍障碍（后续开发功能），此时两只手套 将同时脉冲振动。950mAh电池可支持模块运行数小时。

在考虑标准振动功耗的情况下，典型续航时间为8‐10小时。

针对残障用户使用的智能设备存在一个问题是电池充电必 须简便易行，因此我们计划集成磁性连接器，以避免复杂 的连接操作。

652 IEEE智能交通系统汇刊，第19卷，第2期，2018年2月

图1显示了一位“穿戴”整个系统的用户。

IV. 图像处理

本节介绍图像处理。图像处理流程生成横向和方向误 差的估计，然后由控制器将其转换为触觉反馈，以改变速 度（平移和旋转），从而正确跟踪路径。我们考虑两种类 型的跟踪：线条或车道。控制器的详细信息将在下一节中 介绍。

如相关工作部分所述，有多种方法可用于引导用户沿 路径行进。在本研究中，我们决定使用单目摄像头来定位 地面上的线条和车道（作为参考标记）。主要目标是使用 户保持在线条上或车道中央。

假设标记物的颜色与地面铺面不同，以确保安全导航。

这一假设带来了一定的约束，但考虑到人行道和/或赛道涂 装的成本较低，公共机构和市政部门可以轻松解决这一问 题。摄像头安装在用户胸前，倾斜角约为10度。卷帘快门 可能导致抖动/果冻效应，因此所选摄像头采用全局快门技 术。该特性可确保在行走/奔跑过程中获得高质量图像。

视觉算法已使用C++和OpenCV库开发。整体处理 流程由以下步骤组成：
- 帧采集（彩色或灰度）；
- 图像稳定；
- 裁剪至感兴趣区域(ROI)；
- 色彩空间转换（取决于赛道类型）；
- 阈值处理；
- 图像清理；
- 线条提取；
- 线条聚类与过滤；
- 误差计算。

上述处理流程利用了阈值化的优势，而不是直接使用 边缘检测。边缘检测随后进行线条过滤是一种替代方法。

然而，考虑到应用场景中通常存在直射阳光和阴影的情况， 使用分割算法可能会取得更好的效果。边缘分割与提取能 够选择/使用最佳阈值器来提取感兴趣对象。在本例中，这 一选择并非依赖于场景，而是依赖于问题，因为用户交互 发生在一个结构化环境中（例如跑道、赛道）。

帧以彩色RGB24位或灰度8位格式采集，大小为 752 × 480 ，具体取决于路面情况。对于RGB帧，会进 行色彩空间转换，将数据转换到HSV颜色空间。采集模式 （RGB或灰度）主要根据赛道类型确定。当道路覆盖沥青 材料（例如沥青）时，系统选择灰度模式，因为线条（白 色）与背景（黑色）之间具有高对比度。对于彩色赛道 （例如田径跑道），则选择RGB模式，以提高分割过程的 质量。随后将RGB转换为HSV，以便尽可能将颜色信息 （色度）与强度或光照分离。HSV颜色空间仅用于分割目 的，不用于稳定化。

图像稳定旨在减少由于行走/奔跑引起的摄像头相对 于地面的运动。图像稳定按以下方式进行：
- 图像缩放；
- 特征提取；
- 光流估计和刚性变换；
- 图像扭曲。

图像稳定随时间减少了行走/奔跑对图像造成的影响。

我们采用的工作流程在图像缩放后如下所示：
1. 使用 Shi‐Tomasi方法进行特征提取；
2. 使用金字塔 Lucas‐Kanade方法计算光流；
3. 估计连续帧之间的刚性变换（假设仅有平移和旋转运动；无剪切和/或缩放）；
4. 使用滑动窗口平滑运动；
5. 计算考虑了平滑后运动集合的新变换，然后应用该新变换来扭曲图像。

在特征提取之前，图像被调整为其原始尺寸的50%， 以节省处理时间。使用Shi‐Tomasi方法从上一帧图像中 找到的最佳跟踪特征（最多50个）被提取出来[47]。

曼奇尼等：机电系统帮助视觉障碍用户在步行和跑步期间 653

然后使用三个感兴趣区域（ROI）对扭曲（稳定）图 像进行裁剪，这些区域对应路径的不同区域：区域1、区 域2和区域3。区域1是最靠近的，而区域3是最远的。这些 区域实现了图像的智能处理，因为图像的某些部分是无用 的。生成感兴趣区域（ROI）是必要的，以限制处理区域。

我们希望处理图像底部区域的ROI，因为我们关注的是路 径（赛道+线条）。这表示一种约束，既能限制区域， 又能减少由背景引起的误报数量。

阈值处理阶段提取感兴趣对象，即本例中的线条。我 们尝试了多种自适应方法，如大津法[48]；基于邻域值加 权和的高斯方法（权重基于高斯窗口）；我们的分割方法 [49]基于韦尔纳[50]。

我们决定采用上述方法，考虑到大津法和高斯法被广 泛使用。我们将这些方法与基于韦尔纳算法的方法进行了 比较，后者对光照变化的敏感性较低，具有自适应阈值的 效果。

大津方法是最快的，而自定义算法最慢。平均而言， 两者速度之比为1:5，但自定义算法生成的结果更好。上 述比例指的是不影响帧率的速度。理论上摄像头的帧率为 90帧每秒，在我们的情况下过高。可以认为，假设用户速 度为2‐3米/秒，且典型响应时间为> 500毫秒，因此将20 赫兹作为目标。

形态学算子用于去除小物体（开运算）以及填充小孔 （闭运算）。在这种情况下，我们应用了圆盘结构元素。

我们的分割算法基于韦尔纳方法，并对原始算法进行了修 改，以提高二值化图像的精度和精确度，特别是在具有大 量相邻黑色像素的区域[49]。

A. 线条提取

使用概率霍夫线变换进行线条提取，该方法比标准霍 夫变换更高效，同时考虑了较少的线条交点数量、属于一 条线的点的数量以及两点之间的间隙是否应被视为同一条 线。通常，标准跑道由直线段和曲线组成。如果曲率半径 较高，则可将曲线近似为一系列直线。因此，在提取线条 之前，我们通过形态学算子增加提取线条的粗细。形态学 算子有助于减少小物体的存在，从而简化场景。算子及其 大小的选择基于需考虑的最小物体尺寸，这并非完全场景‐ 设备相关。显然，若摄像头类型发生变化，则需要调整核 大小，但整体方法保持不变。

提取的线条需要经过验证，过于接近的线条应当合并。当两条或多条线之间的距离在 像素上小于阈值dl时，即执行合并。我们认为水平线对导 航不重要，因此

它们被忽略的原因。感兴趣区域Ri由其边界框界定，该边 界框由4个点Pi j=(xi j,y i j)定义，其中j= 1,…,4，区 域索引i= 1,…,3，如图2所示。

距离 d(lk, lt,Ri)的计算公式为：
$$
d(lk, lt, Ri)= \max(d0(lk, lt, Ri), d1(lk, lt, Ri)) \quad (1)
$$
其中lk和lt是两条通用直线，d0和d1分别是计算出的上 界和下界的距离。如果满足以下条件，则线段被合并：
$$
d(lk, lt, Ri) < dl \quad (2)
$$
对每个提取的线段都进行合并评估。在处理过程结束时， 考虑合并后的线。在线条跟踪情况下，我们选择距离图像中 心最近的线条。但也可以设置系统来跟踪车道而非单一线条。

在多车道情况下，如果用户发生偏离，导致另一组平行线现 在更靠近图像中心，我们仍然保持对原始车道的记忆，直到 构成该车道的两条线仍在场景中存在。如果其中一条线消失， 用户将开始跟踪一个新的车道。在线条跟踪的情况下（车道 跟踪可视为线条跟随的一种特殊情况，即创建一条虚拟线作 为车道的中心线），我们将误差定义为：
$$
et = X(lk, h) - \frac{w}{2} \quad (3)
$$
其中 h 和 w 分别是图像的高度和宽度
$$
X(lk, y) = -\left(\frac{b_k y + c_k}{a_k}\right) \quad (4)
$$
与 lk 是一条通用线条，表示为 $lk: a_k x + b_k y + c_k = 0$。在 车道检测的情况下，必须满足的条件是过滤后线条的数量 应大于或等于2。还需设置附加约束：
$$
\left|X(lk , h) - X(lt , h)\right| \leq d_{\text{high}} L \quad \land \quad \left|X(lk , h) - X(lt , h)\right| \geq d_{\text{low}} L \
\left|X(lk , 0) - X(lt , 0)\right| \leq \left|X(lk , h) - X(lt , h)\right| \quad (5)
$$

654 IEEE智能交通系统汇刊，第19卷，第2期，2018年2月

第一个约束要求两条线条之间的距离应处于由$d_{\text{high}} L$ 与$d_{\text{low}} L$参数限定的给定范围内。第二个约束要求在用户前 方必须存在一个消失点。如果满足这些约束，则检测到一 条车道。$d_{\text{high}} L$与$d_{\text{low}} L$的值应根据相机焦距、传感器尺寸/ 分辨率、离地高度和车道宽度进行选择。在进行车道估计 时，误差通过以下公式计算：
$$
et = \frac{X(lk, h) + X(lt, h)}{2} - \frac{w}{2} \quad (6)
$$
其中$lk$和$lt$是表示车道本身的两条线条。

我们希望评估图像底部（即最接近用户的区域）的误差。

在进行线条或车道跟踪时，方向误差$e_\theta$可通过以下公式进 行估计：
$$
e_\theta(m) = et(m) - et(m - 1) \
\bar{e} \theta(m) = (1 - \alpha) \bar{e} \theta(m - 1) + \alpha et(m) \quad (7)
$$
其中 $\bar{e} \theta$是方向误差$e \theta$的指数平均，$\alpha$是遗忘因子（ $\alpha = 1$表示无记忆），$m$为计算步长，且 $\bar{e}_\theta(0) = 0$。该 方向误差的指数平均值将传递给下一小节所述的控制器。

从处理角度来看，最复杂的操作是特征提取和线段/ 线段提取。使用通用图形处理器（GP‐GPU）可以缩短执 行时间，尽管在集成和能耗方面的系统复杂性可能会受到 负面影响。特别是使用像配备CUDA支持的GP‐GPU的替 代处理板，如NVIDIA Jetson TK1或TX1，可能会提高帧 率，使用户能够跑得更快。

五、控制器

本节中，我们将详细介绍控制策略。我们将人类行为 建模为一个可接收平移和旋转指令的两轮差速机器人。所 开发的仿真引擎以简化的方式考虑了人体动力学和疲劳因 素，以推导出用于计算期望动作（速度变化、旋转速度变 化）的最佳控制器策略。计算得到的动作将通过蓝牙低功 耗传输，如第三节所述。

A. 仿真引擎

仿真引擎已开发用于调试控制器，这些控制器负责将 用户相对于期望路径（直线或车道）的定位误差转换为传 输到触觉设备的振动强度。仿真引擎将通用路径建模为直 线和弧线的序列。

为了简化，我们考虑了二维情况，但扩展到三维情况 是直接的。（x，y，θ）表示用户相对于参考系的位置和朝 向。在某一时刻$k$，考虑平移速度$v_k$以及旋转速度$\omega_k$，可以计算用户位置在时间$k+1$ 时为：
$$
\begin{cases}
x(k+1) = x(k) + v(k) T_C \cos\left(\theta(k) + \frac{1}{2} T_C \omega(k)\right) \
y(k+1) = y(k) + v(k) T_C \sin\left(\theta(k) + \frac{1}{2} T_C \omega(k)\right) \
\theta(k+1) = \theta(k) + T_C \omega(k)
\end{cases} \quad (8)
$$
其中$T_c$表示采样时间， $|v(k)| < v_{\text{max}}$与$|\omega(k)| < \omega_{\text{max}}$。

为了模拟平移和旋转速度的非瞬时变化，我们对控制 器计算出的期望速度进行了预滤波。该预滤波考虑了来自 手套的蓝牙低功耗（BLE）延迟以及代码解码延迟。传递 函数还考虑了影响反应能力和跟踪性能的用户疲劳度。

采用的两种方法均基于目标点的概念。目标点是位于 用户当前位置前方的一个参考点，其位置等于前瞻距离。

前瞻距离$l_d$也表示确保参考路径跟踪的最大误差。前瞻距 离是一个由用户的最大速度确定的参数，并且与曲率半径 相关。

B. 纯追踪控制器

纯追踪控制器[51]是移动机器人路径跟踪中广泛使 用的一种方法。纯追踪方法通过几何计算确定一条连接用 户位置与路径前方目标点的圆弧的曲率。目标点由从用户 当前位置到期望路径的前瞻距离$l_d$确定。以下方程表示旋 转速度和平移速度计算的基础：
$$
\begin{cases}
\bar{x} G = (x_G - x_P) \cos\alpha + (y_G - y_P) \sin\alpha \
\bar{y}_G = -(y_G - y_P) \sin\alpha + (y_G - y_P) \cos\alpha
\end{cases} \quad (9)
$$
其中$x_G$和$y_G$是目标点坐标，而$x_P$和$y_P$是用户坐标， 且 $\alpha = \pi/2 + \theta$。我们定义$r$为连接用户位置到目标点的 圆弧的半径。$r$的计算方式如下：
$$
r = \frac{l_d^2}{2\bar{x}_G} \quad (10)
$$
$\bar{l}$，然后可以根据以下公式计算所需的长度$\bar{l}$和参考平 移速度/旋转速度$v$与$\omega$：
$$
\bar{l} = 2r \arcsin\left(\frac{l_d}{2r}\right) \
v_c = v {\text{max}} \frac{K}{r} \
\begin{cases}
v = v_c & \text{if } v_c < v_{\text{max}} \
v = v_{\text{max}} & \text{if } v_c \geq v_{\text{max}}
\end{cases} \
\omega = \frac{v}{r} \quad (11)
$$

曼奇尼 等：帮助视觉障碍用户在步行和跑步过程中的机电系统 655

控制器的增益基于前瞻距离$l_d$，该距离可动态适应用 户速度。在跟踪过程中，前瞻参数起着关键作用。

有必要在减小跟踪误差和振荡之间找到最佳折衷方案。

较小的前瞻距离会产生较低的跟踪误差，但可能出现振荡， 并且会向用户发送过多的校正，导致混淆和压力。

较大的$l_d$值可确保更平滑的路径跟踪，但会导致更大 的跟踪误差。在这种情况下，指令更容易理解。我们需要 记住，用户通常更倾向于接收平滑的指令，即在手套之间 的过渡较为柔和。振荡会引起手套之间频繁切换。此外， 路径/轨迹应设计为平滑转弯，以确保较大的曲率半径。

这样可以使路径跟踪更加容易。

C. 模糊控制器

还设计了一个模糊控制器，用于推导用户为跟踪期望 路径所需执行的平移和旋转速度。该模糊控制器需要两个 输入，分别表示横向误差和方向误差（$e_t$ 和 $e_\theta$）。

模糊模型生成两个输出，分别表示平移和旋转速度 （$v$ 和 $\omega$）。方向误差$e_\theta$ 根据以下公式计算：
$$
e_\theta = (\theta - \theta_v) \cdot \text{sign}(\bar{x}_G) \quad (12)
$$
其中
$$
\theta_v = \arctan\left(\frac{\bar{y}_G}{\bar{x}_G}\right) \quad (13)
$$
为横向和方向误差设计了一组隶属度函数，用于对误 差的低、中、高值进行建模。

关于平移速度，我们使用了三种函数来建模减小、保 持和增加操作；而对于旋转速度，我们使用了保持、低速 转弯_和高速转弯_。图3显示了所采用的隶属度函数（一 组三角形和梯形函数）。这些函数能够根据横向和方向误 差的幅值进行推理，得出平移和旋转速度，并将其转换为 相应幅值的振动。

表I 总结了速度控制器的规则集，其中$e_t$是横向误差，$e_\theta$是方 向误差。

结合输入变量以生成期望输出的规则使用了与操作符。

表I中的第一条规则可以解释为： 如果($e_t$为低 与 $e_\theta$为低) 那么 $v$为高；$\omega$为保持 AND 通过最小值方法计算，而解模糊化则通过计算质 心来完成。

VI. 实验试验

在本节中，我们首先提供纯追踪控制器的结果，然后 展示帧处理流程应用于采集的真实数据轨迹上的结果。

A. 纯追踪与模糊控制器的评估

我们在不同路径上进行了多次仿真，纯追踪控制器在 大多数情况下均获得了最佳的跟踪误差性能（考虑最大值、 平均值和标准差）。图4和图5分别展示了纯追踪控制器与 模糊方法的控制器性能。路径为标准跑道。我们考虑了$T_c = 0.1$s，$l_d = 10$m ，且用户初始位置在启动时为$(0,-2)$ 和 $\theta = -3/4$。纯追踪控制器在初始阶段也能确保更好的 跟踪性能。

656 IEEE智能交通系统汇刊，第19卷，第2期，2018年2月

表I 控制器的模糊规则；输入通过使用与操作符进行组合

当需要补偿方向误差时，模糊控制器在补偿初始误差方面 较慢，且振荡高于追踪控制器。这种行为在其他类型的路 径上也有所体现，例如S形路径和U形转弯。如第V小节 所述，目标点以及前瞻距离起着关键作用。如果误差超过 前瞻距离，跟踪可能会失败。在这种情况下，有必要增加 $l_d$的值，直到用户能够跟踪路径为止。

B. 跑道车道检测

在本小节中，我们展示了在真实（田径）跑道上采集 的数据集中一些具有代表性的帧处理结果，包括在强烈阳 光和阴影存在的情况下的结果。图像处理流程已配置为用 于检测车道。图像以10帧每秒的速度采集。我们的阈值算 法参数为：$S=w/2$,$T= 0.35$, $S1= w/16$ 和 $T1= 0.5$。参数$S1$ 和 $T1$ 源自我们之前的算法[49]，用于在大面积 区域被分类为黑色或白色时提高二值化图像的精度和精确 度。

(d) 原始图像；(b)(e) 分割图像；(c)(f) 提取的车道。)

表II 从实验试验中得出的学习曲线

测试在慢跑过程中进行，速度范围约为2至3m/s。已 对5人小组进行了测试，以评估系统的性能。最重要的反馈 与从左手套切换到右手套以及相反的次数有关。这使得可 以调整$l_d$参数，以确保更“舒适”的路径跟踪。

图7展示了在阴天时于真实赛道上进行帧处理的样本。

图7中的每一行代表一个难度递增的不同帧，即存在额外的 线条/物体，但并未对需跟随车道的正确识别产生负面影响。

左列为原始帧，中间列显示从提取的感兴趣区域进行的分 割，右列则展示最终结果（车道）。黄色和绿色线段表示 相对于$w/2$的距离。图8展示了使用多种算法进行阈值处理 的结果：二值法、大津法、自适应高斯以及我们的分割算 法。采用我们的方法对图像进行分割所需的计算时间比其 他方法更长，但在阴影或直射阳光等恶劣条件下，其表现 优于其他算法。

图9显示了在直射阳光造成的挑战性条件下获取的帧 处理结果。图10表明，即使存在阳光等外部干扰，我们的 分割算法仍能够正确阈值化图像。结果的呈现方式与图7 类似，不同之处在于由于直射阳光导致帧过曝。在我们的 测试中，由于直射阳光引起的信噪比低，在某些情况下部 分帧的车道检测失败（见图6）。

在所有试验期间，80%的时间内导航误差被限制在车道宽度 范围内。剩余的20%超出了

曼奇尼等：机电系统帮助视觉障碍用户在步行和跑步过程中 657

原始图像。分割算法：(b) 二值法 (c) 大津法 (d) 自适应高斯 (e) 我们的分割算法 .)

即使车道宽度低于两条车道的宽度（典型车道宽度为 1.22米），这些数值也是基于一组5名用户完成田径跑道 （总长度400米）完整圈数所获得的。每位用户完成了10圈，每完成2圈后暂停一次。

在直射阳光下的导航是为视障用户完全保障安全导航 最难以解决的问题之一。与触觉设备的交互表明，学习曲 线较短，但前瞻距离的错误取值可能导致一系列频繁的指令

在曲率半径中等至较高的路径上，控制器能够引导用户沿 正确路线行进。如上所述，左右手套之间的切换次数可能 导致方向迷失，且滞后效应可能影响整个系统的可用性。

测试得出的另一项反馈是，当用户速度在大半径曲线路径 上超过2m/s 、在直线路径上超过3m/s时，有必要增加帧 率。目前帧率为恒定值，如前文所述，表现最佳的选择为 20赫兹。学习曲线较为平缓，用户很快就能适应。

658 IEEE智能交通系统汇刊，第19卷，第2期，2018年2月

用户能够成功完成两到三圈完整赛道行走。另一个有趣的 反馈是考虑使用远程操作员，通过视觉反馈引导残障用户 沿期望路径行进。表II总结了从试验中得出的学习曲线。

当用户偏离车道超过2秒时，即发生停止与重启事件。表 II矩阵中的每个值代表在特定速度（行）和转弯次数（列） 组合下，停止与重启事件的平均值。

学习曲线表明，当增加速度时，在达到较低数值之前需 要完成的圈数增多

停止与重启事件的概率高于低速行走。在这种情况下，用户 有更高的几率保持在赛道上。

VII. 结论与未来工作

本文提出的工作聚焦于视障人士进行步行和跑步活动 的问题。所提出的架构依赖于单目摄像头的数据，通过降 低功耗、尺寸、重量和侵入性，简化了系统复杂性。

实际上，视觉系统充当了一种虚拟白手杖，能够检测地面 上的车道或线条。主要原因是

曼奇尼等：用于帮助视觉障碍用户在步行和跑步期间的机电系统 659

使用这些路径可以确保较高的安全标准。考虑到用户将跟 踪这些标记，准确且精确地检测车道或线条非常重要。然 而，该方法也可以扩展到检测其他感兴趣的特征。使用自 然地标的一大优势在于无需进行系统设置，而检测车道/线 条则需要对地面进行涂装。所开发的系统适用于户外环境 中的步行和慢跑。其中最关键的环节之一是线条和车道的 提取，这一过程可能受到阳光或路径上阴影的显著影响。

所采用的策略通过使用基于我们先前工作[49]的自适应阈 值技术，最大限度地减少了提取误差。此外，我们借鉴移 动机器人学中的差动轮式模型设计了一个控制器，并提出 了两种分别基于前瞻距离和模糊逻辑的方法。

在今后的工作中，我们将减小系统的整体尺寸和重量。

我们还计划结合基于视觉的系统与其他传感器（如小型雷 达和紧凑型RTK L1 GPS接收器）来检测路径上的障碍物， 以尽可能减少干扰。该问题会影响户外环境；使用L1 RTK接收器提供绝对定位数据，将当前位置与认证路径进 行匹配，可降低跟踪错误路径的概率。

还将测试振动手环，以评估用户对振动的敏感度，从 而提升用户体验。同时将开发无线充电电路，以简化手套/ 手环电池的充电过程。

使用摄像头对路径上的障碍物进行检测也将在“拥挤” 场景下进行测试，以提高残障用户在行走/奔跑时的安全性。