基于眼睛状态的疲劳驾驶检测

基于视频序列的驾驶员疲劳实时智能报警系统

摘要

提出的工作涉及使用机器视觉系统开发一种用于瞌睡驾驶员检测的自动系统。该系统采用一个小型黑白监控摄像头,直接指向驾驶员面部,并聚焦于驾驶员的眼睛。采集并存储了驾驶员在瞌睡和非瞌睡状态下的视频样本至数据库中。将视频样本转换为帧,每帧进一步转换为二值图像以追踪眼睛边缘。开发了一种算法来定位眼睛及其闭合状态。在提取面部区域后,通过计算水平区域内的像素均值来定位眼睛。考虑到面部眼部区域存在显著的强度变化,因此通过 finding 面部中显著的强度变化来确定眼睛位置。一旦定位到眼睛,通过测量眼部区域强度变化之间的距离,判断眼睛是睁开还是闭合。绘制强度变化的曲线,根据曲线上两个谷值之间的距离判断眼睛闭合情况。一旦检测到闭合,即通过警告信号向驾驶员报告疲劳状态。所开发的算法在当前已发表的论文中具有独特性,这也是我们工作的主要目标之一。文中报告了该系统在不同环境下对瞌睡与非瞌睡驾驶员样本的检测性能。

关键词 :驾驶员 · 二值化 · 边缘 · 瞌睡检测 · 强度变化

1 引言

驾驶是一项复杂的任务,驾驶员需要负责观察道路、及时做出正确决策,并最终对其他驾驶员的行为和不同的道路状况作出反应。警觉性是指清醒状态以及有效应对外部刺激的能力。长时间驾驶会导致过度疲劳和疲倦,从而使驾驶员产生困意或丧失意识。研究表明,事故的原因可分为以下三大类:(1)人为因素,(2)车辆因素,(3)环境因素。这三类因素相互关联,其中人为错误可能由车辆或公路设计不当引起。在人为错误类别中公认的三大主要错误类型如下:(1)感知错误,(2)决策错误,(3)操作错误。

决策错误指由于驾驶员采取了不正确的行动或未能采取行动而导致的错误。如果驾驶员未能正确感知或理解某种情况,则可能发生感知错误。为了及时且准确地完成这些活动,驾驶员必须保持警觉性。本项目旨在开发一种用于检测嗜睡的自动系统。重点将放在设计一种能够实时准确监测驾驶员眼睛开闭状态的系统上。通过监测眼睛状态,有望及早发现驾驶员疲劳的征兆,从而避免交通事故。

为了研究当前先进技术,针对现有问题进行了文献调查。苏珊塔·波德先生和苏妮塔·罗伊女士(2013)开发了此类系统,需要在车内安装一些硬件组件,例如摄像头,以固定时间间隔捕捉驾驶员的图像,以及报警系统,在检测到驾驶员的困倦程度后向其发出警报。D. 贾扬蒂和 M. 鲍米(2012)已针对该问题展开研究,我们提出一种基于眼动追踪的实时驾驶员疲劳检测系统,这是一种主动安全系统。眼动追踪是未来驾驶辅助系统的关键技术之一,因为人眼包含大量关于驾驶员状态的信息,如注视方向、注意力水平和疲劳程度。尼迪·夏尔马和 V.K. 班加(2010)指出,驾驶辅助系统(如汽车导航系统)正变得越来越普遍,并在多个方面为驾驶员提供支持。对驾驶辅助系统而言,检测驾驶员意识状态至关重要。

2 提出的方法

本文提出的方法如图 1 所示。输入为从数据库中获取的视频片段;视频样本被转换为帧。在本研究中,每个样本取 20 帧/图像。

示意图0

2.1 眼睛检测

每一帧代表描述闭眼动作的面部图像,这些图像被依次输入。通过二值化图像进行预处理。检测面部的顶部和两侧,以缩小眼睛所在区域的范围。利用面部两侧确定面部中心,该中心将作为比较左右眼的参考基准。从面部顶部向下移动,计算面部区域的水平平均值(每个 y 坐标处的平均强度值)。根据平均值的显著变化来确定眼部区域。接下来按处理步骤的顺序说明眼睛检测过程。

2.2 面部顶部和宽度检测

眼睛检测功能的下一步是确定驾驶员面部的顶部和侧面。这一点非常重要,因为找到面部轮廓可以缩小眼睛所在区域,从而在计算上更容易定位眼睛的位置。第一步是找到面部的顶部。下一步是在面部找到一个起始点,然后递减 y 坐标,直到检测到面部的顶部为止。假设人脸大致位于图像中心,所使用的初始起始点为 (100, 240)。选择 100 作为起始 x 坐标,是为了确保该起始点是一个黑色像素(不在面部上的点)。

2.3 检测面部强度变化

定位眼睛的下一步是 finding 面部的强度变化。这是使用原始图像完成的,not 二值图像。第一步是计算每个 y 坐标处的平均强度。这称为水平平均值,因为平均值是在水平方向上取值的。水平值曲线中的谷值(凹陷)表示强度变化。当最初绘制水平值时,发现存在许多小的谷值,这些谷值并不代表真正的强度变化,而是由平均值中的微小差异引起的。为了解决这个问题,实现了一种平滑算法。

2.4 垂直眼位检测

第一个 y 坐标最低的最深谷值为眉毛,第二个 y 坐标次低的最深谷值为眼睛。该过程分别对面部左侧和右侧进行处理,然后比较所找到的左右两侧眼部区域,以检查是否正确检测到眼睛。计算左侧时,取从面部左侧边缘到面部中心的平均值,右侧同理。之所以分开处理两侧,是因为当驾驶员头部倾斜时,水平平均值将不准确。例如,如果头部向右倾斜,则眉毛区域的水平平均值可能包含左眉毛以及额头右侧部分。

2.5 嗜睡检测

眼睛状态(睁眼或闭眼)由上述步骤中找到的前两个 fi 强度变化之间的距离决定。当眼睛闭上时,强度变化的 y 坐标之间的距离比睁眼时更大。如图 2 所示。该方法的局限性在于驾驶员移动面部靠近或远离摄像头时。

示意图1

3 结果与讨论

柱状图描述了不同用户的输出情况,视频 v1 的疲劳率为 80%,对应主动驾驶人员的情况;视频 v2 的疲劳率为 70%,显示了佩戴眼镜时的输出情况;视频 v3 的疲劳率为 65%,当人眼非常小时;v4 视频针对深色人种的比率为 60%;以及 v5 视频在驾驶员后方存在反射物体时比率为 50%(图 3)。

示意图2

结论与未来展望

开发了一种用于定位眼睛并监测疲劳的非侵入式系统。通过多种自主开发的图像处理算法获取头部和眼睛位置的信息。在监测过程中,系统能够判断眼睛是睁开还是闭合。当眼睛闭合时间过长时,系统会发出警告信号。该系统已在 5 名来自不同种族、性别且具有不同肤色和面部毛发的受试者上进行了测试。系统在几乎所有情况下都表现出良好的效果。对于相对较小的头部位移,系统很少丢失对眼睛的追踪。此外,该系统还能检测驾驶员的眨眼行为,在所研究的 5 个案例中,有 4 个未出现误报。

使用 3D 图像为 finding 眼睛提供了另一种可能性,这可能是一种更稳健的眼睛定位方法。自适应二值化是一项有助于增强系统鲁棒性的补充技术。它还可能消除对去噪功能的需求,从而减少 find 眼睛所需的计算量。此外,这种方法还能适应环境光的变化。当前系统对深色皮肤个体无效,但可通过引入自适应光源来纠正这一问题。自适应光源会测量反射回来的光量;如果反射光较少,则增加光源强度。深色皮肤个体需要更强的光照,以确保在构建二值图像时,面部呈现为白色而背景为黑色。通过采用这些措施,可进一步改进提出的工作。

相关推荐

APM水下机器人实战:从零搭建高精度自主航行系统

本文详细介绍了如何基于开源APM飞控及其水下分支ArduSub,从零搭建高精度自主水下航行器。核心在于集成双天线RTK模块实现厘米级定位与精确航向,并配合MAVROS与ROS构建自主控制系统。文章涵盖了硬件选型、软件配置、自主逻辑开发及水池调试的全流程实战经验,为水下机器人爱好者与研究者提供了一套完整的自主航行系统解决方案。

app77的博客 513

基于多信息融合的疲劳驾驶检测系统

基于多信息融合的疲劳驾驶检测系统

qq_59084325的博客 2649

【自由谈】城域网IPv6过渡技术——MAP技术(1)

在IPv4向IPv6网络演进的浪潮中,存在着两对主要矛盾的较量,一对是IPv4地址短缺和IPv4业务蓬勃发展之间的矛盾,另一对是IPv6海量的地址空间和IPv6应用的匮乏之间的矛盾。同时两对矛盾又互相制约,IPv4地址共享机制似乎又减缓了IPv6产业链的发展,IPv6产业链的不断发展似乎又在考验着IPv4地址共享机制的部署规模。MAP成为目前兼顾IPv4和IPv6的4voer6场景中最为关注的技术。

韩立金自由谈 3025

【有啥问啥】智能座舱中的DMS(Driver Monitoring System)——分心与疲劳检测

头部姿态估计通过构建3D人脸模型,并结合2D图像中的关键点位置来拟合头部的三维姿态。:主要采用基于深度学习的目标检测网络(如YOLO, Faster R-CNN),结合面部关键点检测(如Dlib)来识别驾驶员头部位置、视线方向以及面部表情。疲劳检测通过分析驾驶员的生理信号(如心率变异性HRV、脑电波EEG)和行为信号(如眨眼频率、头部晃动)来评估其疲劳状态。:视线方向估计通过眼动跟踪技术,结合眼球中心位置和瞳孔反射点的位置,计算视线向量v,进而推断视线方向。是根据头部姿态参数计算的3D模型的2D投影。

Chauvin的博客 3164

机器人动力学与控制学习笔记(一)————机器人控制概述

一、概述 1、机器人控制的目的 对自由运动机器人来说,控制的目的是要控制机器人手端的位置和姿态(以后统一简称为位姿),即所谓位置控制问题。这时希望机器人手端所达到的位置称为期望位置或期望轨迹。期望轨迹可以在机器人任务空间中给出,也可以通过逆运动学关系转化为机器人关节空间中的期望轨迹。期望轨迹通常有两种形式:一种是一个固定位置(即固定点),另一种是一条随时间连续变化的轨迹。自由运动机器人位置控制的目的,是要使机器人手端从任意起始位置出发都能到达期望轨迹。当期望轨迹是固定点时的位置控制称为定...

冰与火的青春的博客 6884

西门子Industrial Copilot实战:5个工业场景下的AI效率提升案例

本文通过五个工业场景实战案例,深入解析西门子Industrial Copilot如何将工业智能转化为实际生产力。从自动化配置、预测性维护到能源优化与人机交互,这位AI助手显著缩短工程周期、提升设备可用率并降低运营成本,展示了其在工业领域系统化、工程化的落地价值。

3c4x5z6v7b的博客 930

基于深度学习的驾驶员疲劳及分心行为检测算法研究

最近几年来我国机动车的数量不断增多,驾驶人员数量的不断上涨导致交通问题发生的概率逐年增大。根据相关研究表明,驾驶员的操作行为不规范以及疲劳驾驶是引起事故发生的主要原因,因此对这两种行为进行及时的监控与预警变得越来越重要。现有的检测方法很难保证同时满足精准度与速度的需求,所以针对这两种问题本文研究内容如下。对于疲劳检测,首先从传统面部行为和基于深度学习检测算法研究入手,针对当前算法准确性与实时性不平衡的问题,将疲劳检测转化为目标检测的问题,最后根据疲劳判定指数检测驾驶员状态。

weixin_51534858的博客 5187

PS射击游戏射线检测优化:原理、工程与全链路高性能实现

射线池:减少GC,提升批量检测效率。分层检测:先粗后细,远距离射击高效判定。批量检测:并行处理,适合大量射线场景。空间结构:进一步加速大场景检测。下面继续深入射线检测优化,补充更多实用细节和进阶技巧,包括空间分区加速、射线检测多线程/异步化、射线合并与分帧、射线池通用模板、常见性能陷阱与调优建议等。对于极端性能需求,可自定义轻量级物理系统,仅检测关键对象(如玩家、子弹),跳过复杂物理引擎。结合AABB、OBB、球体等简单碰撞体,射线-包围体检测极快。空间分区+分层检测是大场景射线优化核心。

本博客聚焦游戏开发技巧、创业实战心得及大学热门课程干货。这里既有技术深度,也有思维广度,无论你是开发者、创业者还是高校学子,都能在这里找到适合自己的成长之路! 437

PERCLOS(疲劳检测的一种模型)

例如:小明驾驶机动车,在驾驶过程中,在8:00 - 8 :01时间段内,眼睛闭合时间45秒,占该段时间的75%,那么我们就可以判断小明疲劳驾驶(仅仅是一个例子)PERCLOS,眼睛闭合时间占时间段的百分比,是一种基于面部行为的检测疲劳模型,由卡内基梅隆研究所提出,度量出了眼睛闭合程度与疲劳程度之间的关系。通常情况下,PERCLOS有三种测量准则,P70,P80,Em,分别表示眼皮覆盖面积超过70%,眼皮覆盖面积超过80%,眼皮覆盖面积超过50%

2401_87674905的博客 2169

基于Simulink的新能源汽车热管理系统设计与仿真详细介绍

新能源汽车(如纯电动汽车和混合动力汽车)的热管理系统是确保电池、电机和电控系统高效运行的关键。通过合理设计热管理系统,可以提高车辆的续航里程、延长电池寿命并提升整体性能。以下是如何在 MATLAB 和 Simulink 中设计并仿真一个新能源汽车热管理系统的详细步骤。通过上述步骤,我们成功设计并实现了基于 Simulink 的新能源汽车热管理系统。该系统能够根据目标温度和实际反馈,通过 PID 控制器或模糊控制器调整冷却液流量、风扇转速等参数,实现对电池、电机和车内的精确温度控制。

xiaoheshang_123的博客 385

【软考高级架构】论文范文17——论软件系统架构评估及其应用(ATAM)

软件系统架构评估是保障系统质量属性满足业务目标的关键环节,架构权衡分析方法(Architecture Trade-off Analysis Method,ATAM)作为一种主流的架构评估方法,通过场景识别、敏感点与权衡点分析、风险与非风险决策识别等系统化活动,能够在架构设计早期发现潜在问题,降低后期修改成本。本文以笔者主导的某省级智慧医疗平台架构评估项目为案例,围绕ATAM方法的应用展开论述。笔者担任系统架构师,负责组织评估团队、引导场景捕获、分析架构决策、识别风险与权衡点。

qq837993702的博客 492

人工智能专业-机器视觉的疲劳驾驶检测系统-python-opencv

毕业设计-机器视觉的疲劳驾驶检测系统-python-opencv:​ 疲劳检测系统是指利用驾驶员的面部特征、眼部信号、头部运动性等推断驾驶员的疲劳状态,并进行报警提示和采取相应措施的装置。一些汽车装备的疲劳监测系统被称为“疲劳识别系统”(它从驾驶开始时便对驾驶员的操作行为进行记录)并能够通过识别长途旅行中驾驶操作的变化对驾驶员的疲劳程度进行判断。驾驶员转向操作频率变低,并伴随轻微但急骤的转向动作以保持行驶方向是驾驶精力不集中的典型表现。根据以上动作的出现频率,并综合诸如旅途长度、转向灯使用情况、驾驶时间等其

Hai_Lang_IT的博客 6299

【雷达通信】雷达信号处理仿真【含Matlab源码 2509期】

雷达信号处理仿真 完整的代码,方可运行;可提供运行操作视频!适合小白!

订阅付费专栏Matlab(奶茶价版),可赠送奶茶价版付费专栏指定代码1份; 906

【疲劳检测】人脸状态识别疲劳驾驶检测系统【含GUI Matlab源码 9081期】

人脸状态识别疲劳驾驶检测系统 完整代码,包运行;可提供运行操作视频!适合小白!

订阅付费专栏Matlab(奶茶价版)或下载付费资源,可赠送奶茶价版付费专栏指定代码1份; 1559

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

【疲劳检测】人脸状态识别疲劳驾驶检测系统【含 GUI Matlab源码 9081期】

人脸状态识别疲劳驾驶检测系统 完整代码,包运行;可提供运行操作视频!适合小白!

Matlab912100926的博客 1280

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

【疲劳检测】基于matlab行为特征疲劳驾驶检测【含Matlab源码 944期】

行为特征疲劳驾驶检测 完整代码,直接运行,适合小白!可提供运行操作视频!

订阅付费专栏Matlab(奶茶价版),可赠送奶茶价版付费专栏指定代码1份; 5691

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

【疲劳检测】行为特征疲劳驾驶检测【含Matlab源码 944期】

行为特征疲劳驾驶检测 完整代码,直接运行,适合小白!可提供运行操作视频!

Matlab912100926的博客 1185

【疲劳检测】人脸识别预防疲劳驾驶警报系统【含GUI Matlab源码 13116期】

人脸识别预防疲劳驾驶警报系统 完整代码,包运行;可提供运行操作视频!适合小白!

订阅付费专栏Matlab(奶茶价版)或下载付费资源,可赠送奶茶价版付费专栏指定代码1份; 919

python疲劳驾驶困倦低头检测

python疲劳驾驶困倦低头检测

babyai996的博客 2万+

【疲劳检测】机器视觉疲劳检测系统【含GUI Matlab源码 3968期】

机器视觉疲劳检测系统 完整的代码,方可运行;可提供运行操作视频!适合小白!

Matlab912100926的博客 946

基于MATLAB的疲劳检测系统研究解析

一、课题介绍随着汽车工业的不断发展,随之而来的社会问题也愈加严重。交通事故给人们造成巨大伤害的同时,也给社会带来沉重的负担和影响。由于疲劳驾驶是引起交通事故的一个主要原因。因此,研究一种合理有效、实时准确检测驾驶员疲劳驾驶的非接触式车载装置对于减少交通事故,道路安全有重大意义。本文研究的主要内容包括:人脸检测、人眼定位、眼睛特征提取和状态识别、疲劳程度的计算等算法的原理及实现。二、研究背景及意义所...

matlabBBQ的博客 1297
上一篇: 3、模拟滤波器特性与传递函数详解
下一篇: 33、ZFS文件系统深度解析与操作指南
sql99
博客等级 码龄19年 168粉丝 1905原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符  | 博主筛选后可见
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值