基于眼睛状态的疲劳驾驶检测

基于视频序列的驾驶员疲劳实时智能报警系统

摘要

提出的工作涉及使用机器视觉系统开发一种用于瞌睡驾驶员检测的自动系统。该系统采用一个小型黑白监控摄像头，直接指向驾驶员面部，并聚焦于驾驶员的眼睛。采集并存储了驾驶员在瞌睡和非瞌睡状态下的视频样本至数据库中。将视频样本转换为帧，每帧进一步转换为二值图像以追踪眼睛边缘。开发了一种算法来定位眼睛及其闭合状态。在提取面部区域后，通过计算水平区域内的像素均值来定位眼睛。考虑到面部眼部区域存在显著的强度变化，因此通过 finding 面部中显著的强度变化来确定眼睛位置。一旦定位到眼睛，通过测量眼部区域强度变化之间的距离，判断眼睛是睁开还是闭合。绘制强度变化的曲线，根据曲线上两个谷值之间的距离判断眼睛闭合情况。一旦检测到闭合，即通过警告信号向驾驶员报告疲劳状态。所开发的算法在当前已发表的论文中具有独特性，这也是我们工作的主要目标之一。文中报告了该系统在不同环境下对瞌睡与非瞌睡驾驶员样本的检测性能。

关键词 ：驾驶员 · 二值化 · 边缘 · 瞌睡检测 · 强度变化

1 引言

驾驶是一项复杂的任务，驾驶员需要负责观察道路、及时做出正确决策，并最终对其他驾驶员的行为和不同的道路状况作出反应。警觉性是指清醒状态以及有效应对外部刺激的能力。长时间驾驶会导致过度疲劳和疲倦，从而使驾驶员产生困意或丧失意识。研究表明，事故的原因可分为以下三大类：（1）人为因素，（2）车辆因素，（3）环境因素。这三类因素相互关联，其中人为错误可能由车辆或公路设计不当引起。在人为错误类别中公认的三大主要错误类型如下：（1）感知错误，（2）决策错误，（3）操作错误。

决策错误指由于驾驶员采取了不正确的行动或未能采取行动而导致的错误。如果驾驶员未能正确感知或理解某种情况，则可能发生感知错误。为了及时且准确地完成这些活动，驾驶员必须保持警觉性。本项目旨在开发一种用于检测嗜睡的自动系统。重点将放在设计一种能够实时准确监测驾驶员眼睛开闭状态的系统上。通过监测眼睛状态，有望及早发现驾驶员疲劳的征兆，从而避免交通事故。

为了研究当前先进技术，针对现有问题进行了文献调查。苏珊塔·波德先生和苏妮塔·罗伊女士（2013）开发了此类系统，需要在车内安装一些硬件组件，例如摄像头，以固定时间间隔捕捉驾驶员的图像，以及报警系统，在检测到驾驶员的困倦程度后向其发出警报。D. 贾扬蒂和 M. 鲍米（2012）已针对该问题展开研究，我们提出一种基于眼动追踪的实时驾驶员疲劳检测系统，这是一种主动安全系统。眼动追踪是未来驾驶辅助系统的关键技术之一，因为人眼包含大量关于驾驶员状态的信息，如注视方向、注意力水平和疲劳程度。尼迪·夏尔马和 V.K. 班加（2010）指出，驾驶辅助系统（如汽车导航系统）正变得越来越普遍，并在多个方面为驾驶员提供支持。对驾驶辅助系统而言，检测驾驶员意识状态至关重要。

2 提出的方法

本文提出的方法如图 1 所示。输入为从数据库中获取的视频片段；视频样本被转换为帧。在本研究中，每个样本取 20 帧/图像。

2.1 眼睛检测

每一帧代表描述闭眼动作的面部图像，这些图像被依次输入。通过二值化图像进行预处理。检测面部的顶部和两侧，以缩小眼睛所在区域的范围。利用面部两侧确定面部中心，该中心将作为比较左右眼的参考基准。从面部顶部向下移动，计算面部区域的水平平均值（每个 y 坐标处的平均强度值）。根据平均值的显著变化来确定眼部区域。接下来按处理步骤的顺序说明眼睛检测过程。

2.2 面部顶部和宽度检测

眼睛检测功能的下一步是确定驾驶员面部的顶部和侧面。这一点非常重要，因为找到面部轮廓可以缩小眼睛所在区域，从而在计算上更容易定位眼睛的位置。第一步是找到面部的顶部。下一步是在面部找到一个起始点，然后递减 y 坐标，直到检测到面部的顶部为止。假设人脸大致位于图像中心，所使用的初始起始点为 (100, 240)。选择 100 作为起始 x 坐标，是为了确保该起始点是一个黑色像素（不在面部上的点）。

2.3 检测面部强度变化

定位眼睛的下一步是 finding 面部的强度变化。这是使用原始图像完成的，not 二值图像。第一步是计算每个 y 坐标处的平均强度。这称为水平平均值，因为平均值是在水平方向上取值的。水平值曲线中的谷值（凹陷）表示强度变化。当最初绘制水平值时，发现存在许多小的谷值，这些谷值并不代表真正的强度变化，而是由平均值中的微小差异引起的。为了解决这个问题，实现了一种平滑算法。

2.4 垂直眼位检测

第一个 y 坐标最低的最深谷值为眉毛，第二个 y 坐标次低的最深谷值为眼睛。该过程分别对面部左侧和右侧进行处理，然后比较所找到的左右两侧眼部区域，以检查是否正确检测到眼睛。计算左侧时，取从面部左侧边缘到面部中心的平均值，右侧同理。之所以分开处理两侧，是因为当驾驶员头部倾斜时，水平平均值将不准确。例如，如果头部向右倾斜，则眉毛区域的水平平均值可能包含左眉毛以及额头右侧部分。

2.5 嗜睡检测

眼睛状态（睁眼或闭眼）由上述步骤中找到的前两个 fi 强度变化之间的距离决定。当眼睛闭上时，强度变化的 y 坐标之间的距离比睁眼时更大。如图 2 所示。该方法的局限性在于驾驶员移动面部靠近或远离摄像头时。

3 结果与讨论

柱状图描述了不同用户的输出情况，视频 v1 的疲劳率为 80%，对应主动驾驶人员的情况；视频 v2 的疲劳率为 70%，显示了佩戴眼镜时的输出情况；视频 v3 的疲劳率为 65%，当人眼非常小时；v4 视频针对深色人种的比率为 60%；以及 v5 视频在驾驶员后方存在反射物体时比率为 50%（图 3）。

结论与未来展望

开发了一种用于定位眼睛并监测疲劳的非侵入式系统。通过多种自主开发的图像处理算法获取头部和眼睛位置的信息。在监测过程中，系统能够判断眼睛是睁开还是闭合。当眼睛闭合时间过长时，系统会发出警告信号。该系统已在 5 名来自不同种族、性别且具有不同肤色和面部毛发的受试者上进行了测试。系统在几乎所有情况下都表现出良好的效果。对于相对较小的头部位移，系统很少丢失对眼睛的追踪。此外，该系统还能检测驾驶员的眨眼行为，在所研究的 5 个案例中，有 4 个未出现误报。

使用 3D 图像为 finding 眼睛提供了另一种可能性，这可能是一种更稳健的眼睛定位方法。自适应二值化是一项有助于增强系统鲁棒性的补充技术。它还可能消除对去噪功能的需求，从而减少 find 眼睛所需的计算量。此外，这种方法还能适应环境光的变化。当前系统对深色皮肤个体无效，但可通过引入自适应光源来纠正这一问题。自适应光源会测量反射回来的光量；如果反射光较少，则增加光源强度。深色皮肤个体需要更强的光照，以确保在构建二值图像时，面部呈现为白色而背景为黑色。通过采用这些措施，可进一步改进提出的工作。