提高智能家居安全性;将行为预测集成到智能家居中
摘要
本文强调了现有智能家居技术及其居住者行为预测技术中存在的各种安全问题,并提出了一种新的行为预测算法以提升家庭安全。本文提出的算法能够识别合法用户行为,并将其与攻击行为区分开来。该研究还确定了在七周学习期内预测用户行为所需的参数。论文确定了三个因素,即时间参数、光照参数和用户钥匙放置行为,以成功预测用户行为。该算法在七周训练期内学习了正常和可疑的用户行为,并基于这些知识构建了朴素贝叶斯网络。新开发的安全算法在一间单间公寓中实施了两周,期间共访问24次,产生了两次警告和一次警报。
关键词 :家庭自动化;智能家居;无线传感器网络;访问控制;ZigBee。
1 引言
研究人员在家庭自动化领域已研究四十多年,智能家居的概念最早于20世纪80年代提出。从那时起,一些重要的智能家居不断得到改进。技术进步、电子设备的普及性与可负担性、移动计算、智能传感器和物联网在快速发展中也发挥了关键作用,但随着时间的推移,人们对智能家居的期望也发生了变化。
现代智能家居是多种普适计算设备以及无线和有线传感器/执行器网络的结合体(Cook,2010;Suh 和 Ko,2008;Hu 等人,2016)。过去的家庭需要应对罪犯通过打破窗户、强行打开门或撬锁等暴力手段闯入住宅的问题,而现代家庭则面临技术更娴熟的攻击者,他们试图寻找漏洞并黑客入侵住宅,对住户造成困扰(Fouladi 和 Ghanoun,2013),同时也容易受到速攻式袭击企图的影响。智能家居安全的概念也随之演变,多年来提出了多种利用传感器(Konidala 等人,2011;Kumar 和 Kumar,2013)和互联网(Jose 等人,2016;Alkar 和 Buhur,2005)的智能家居安全机制,但现有系统仍存在安全问题(王和卢,2013;Komninos 等人,2014;Jose 和 Malekian,2015)。智能家居中用于设备间通信的无线传感器网络易受到路由攻击(Karlof 和 Wagner,2003)和虫洞攻击(Hu 等人,2006)的威胁。在智能家居中广泛使用的802.15.4和ZigBee等通信技术也容易受到重放攻击(Mo 和 Sinopoli,2009)。这些因素加上用户疏忽,导致过去十年中家庭盗窃案迅速增加(Deadman,2003;联合国毒品和犯罪问题办公室,2015),凸显了现代社会中家庭安全的重要性。
识别进入家中的用户或用户是确保智能家居安全的最有效方法。多年来,人们提出了不同的用户识别机制,这些机制从简单的密码、指纹验证(Chen 等人,2013)、视网膜扫描验证(Lajevardi 等人,2013)、使用摄像头的面部识别(Jung 等人,2016),到更复杂的静脉识别(Huang 等人,2015)、生物特征步态识别(Tang 等人,2017)和语音识别(Tan 和 Lindberg,2010)。所提出用户身份验证技术存在一些重大安全问题(Tatli,2015;Galbally 等人,2014)。本文提出了一种新颖的行为预测算法,以及时识别合法用户访问家庭的情况,从而对未授权访问做出响应,极大减少对用户的不便,提升家庭安全。
1.1 本工作的目标
- 识别用户行为中的模式,以便确定行为预测算法的参数。
- 确定在何时何地实施行为预测算法,以成功识别用户行为。
- 及时区分合法用户行为与入侵尝试,并启动防御措施以抵御入侵。
提出的工作使用树莓派、微控制器和传感器来识别正常用户行为,并将其与可疑用户行为区分开来。
本文的其余部分组织如下:第2节讨论了关于智能家居中行为预测的不同文献。第3节解释了用于识别和预测用户行为的方法。第4节描述了实验及硬件设置。第5节说明了机器处理过程并给出了实验结果。第6节讨论了实验结果及其特点,并与其他相关工作进行了比较。最后,论文总结了该研究可能的未来发展方向。
2 相关工作
Park等人(2017年)提出使用哨兵传感器来识别感兴趣事件的发生,该事件作为触发器激活其他处于睡觉状态的传感器,使其参与事件监测。该方法旨在提高部署在智能家居中的传感器的能源效率,但在安全的智能家居环境中实施时存在单点故障问题。如果攻击者能够识别并操控哨兵传感器,则所有其他监测传感器将保持非活动状态,整个智能家居可能被攻破。此外,还提出了其他针对智能家居的智能节能技术(Tang等人,2016年)。
居住者行为预测多年来在辅助生活环境中的应用十分广泛。研究人员利用振动传感器识别人员跌倒(Skubic等,2009;Zigel等,2009;Ren和Shi,2016)或与各种物体的交互,通过改进PIR传感器检测厨房中炉灶和烤箱的操作(Skubic等,2009),部署多个超声波传感器以确定居住者在家中的位置(Fleury等,2010),并使用压力传感器检测用户存在、用户步数以及识别跌倒事件(Skubic等,2009;Doughty和Costa,1997年)。光传感器或光电传感器在行为预测方面未被广泛使用,但曾用于识别用户在家中各个部分的存在(Doughty和Costa,1997年;Haigh等,2006),以及作为方向测量手段(Cameron等,1997)。
一些方法采用磁性开关来识别家中各个部分的门或橱柜的状态(Atallah等,2009)。Fleury等(2010)使用麦克风识别家庭中的各种用户活动,如说话、关门、行走、电话响铃、物体掉落和电视使用等。多位研究人员(Hunt等,2014;Franco等,2008;费和熊,2005)提出使用瓦特计识别家庭用电量,这在今天可被视为作为衡量居住者福祉的主要指标(刘等人,2017)。这些方法大多数仅识别用户在家居特定区域的特定行为,因此将其用于识别智能家居中的入侵尝试将效率低下。
无法保证入侵者一定会使用厨房或其他特定区域,此外,大多数所提出的方法需要较长时间才能区分正常行为与攻击行为,而在安全场景中,这一时间必须尽可能短。
多年来,研究人员提出了多种利用可穿戴传感器进行活动识别的方法。加速度计数据可用于活动识别(杨等人,2008;马蒂埃等人,2004)。万嫩堡和马莱基安(2016年)提出利用智能手机加速度计数据来识别用户活动,例如慢跑、行走、站立、坐着、躺下等,在观察期间智能手机放置在用户的裤子口袋中。随后,他们(万嫩堡和马莱基安(2015)设计了光学脉搏血氧传感器,并将其与数字温度传感器结合到一个可穿戴设备中,用于测量心率、血氧饱和度、脉搏传导时间和皮肤温度,以识别医学压力。梅里拉赫蒂等人(2009)提出使用腕戴式活动检测器来识别用户的睡眠/清醒活动。范莱霍芬等人(2008)将加速度计、倾斜开关和惯性传感器组合成一个腕戴式传感单元,用于建模用户节律并模拟用户行为。前川等人(2013)利用手戴式磁传感器识别并区分家中不同电器所发出的各种磁场,从而识别用户活动。
在家中使用可穿戴传感器识别用户行为会增加用户的不便,因为用户必须一直佩戴这些传感器。此外,鉴于人类容易遗忘和粗心的天性,这种方案也难以成功实施。
达瓦迪等人(2016)的研究表明,安装在智能家居中的传感器可用于预测用户在家中的行为,且该行为数据可用于预测个体的临床评分。该论文假设,由智能家居传感器监测到的用户行为与其认知/身体健康之间存在关联。研究人员分析了传感器数据,以识别居住者的睡眠时长、烹饪时长、进食时长、放松时长、个人卫生时长以及床上厕所转换时长,并据此计算临床评分。帕维尔莱宁等人(2005)使用IST VivagoWristCare系统来监测养老院中老年人的昼夜节律活动,并将活动节律的变化与临床观察进行比较,以确定其健康状况。这些研究大多集中于识别住户的健康问题,而对家庭安全的关注较少。在健康监测场景中,通过将用户的行为与预先建立的标准临床值进行比较,以随时间推移识别住户的健康问题。这种方法无法用于识别家庭中的入侵尝试,因为入侵尝试通常需要迅速且准确地被发现。此外,往往存在非常有限的预先设定的标准用户行为,以成功实现高效比较。
查胡阿拉等人(2012)分析了家庭中的多种参数,如各种家务活动中产生的声音、家庭居住者的位置、居住者的言语、用水量、灯光状态、温度等,以识别用户的日常活动,例如睡觉、做饭、休息等。该系统在家庭各处布置麦克风,用于采集声音并接收语音指令,这些采集到的声音被分析和存档,用于学习用户行为,但这可能被视为侵犯家庭居住者隐私。塔皮亚等人(2004)在自动化家居方面的研究主要集中在识别用户的日常活动,如睡觉、用餐等。所提出的系统使用监督算法、训练数据和用户交互来识别和预测用户活动,以提高家庭效率。这些提出的方法主要关注提升家庭效率,而对家庭安全重视不足。此外,它们需要较大的计算开销,并依赖昂贵的硬件。
多年来,世界见证了技术的显著进步(Hu 等人,2016;李和李,2017),这使得电子设备更加经济实惠、普及,并提高了计算机和传感器网络的效率。传感器和执行器变得更加紧凑,处理能力也得到提升,从而推动了智能环境的显著发展。多年来已发表了许多研究项目和一些实地项目,包括弗吉尼亚大学智能辅助生活设施(维罗内等人,2008)、密苏里大学的TigerPlace(兰茨等人,2013)、超媒体工作室(伯克,2002)、GATOR科技智能屋(赫拉尔等人,2005)、斯塔福德郡大学/清迈大学的辅助智能生活(车布罗翁等人,2013)、交互式房间 iRoom(约翰逊等人,2002)、华盛顿州立大学CASAS智能家居项目(拉希迪和库克,2009)、德克萨斯大学阿灵顿分校MavHome智能家居项目(库克和杨布莱德,2004),以及位于罗切斯特大学的智能医疗之家(阿尔穆德瓦尔等人,2008)、英特尔西雅图研究中心提出的PROACT(菲利波斯等人,2004)。
人类行为可以通过监督学习和无监督学习进行学习和预测。数据标注在无监督学习中是必要的,但这是一个耗时的过程。卡斯特伦等人(2009)在其研究中使用隐马尔可夫模型(HMMs)进行用户活动识别。多ctor等人(2005)提出了在iDorm中使用模糊逻辑来学习和建模活动,而里韦拉‐伊林沃思等人(2005)则采用了神经网络。米海利季斯等人(2004)分析了用户的洗手行为以检测其动作和行为。类似地,吴等人(2007)提出利用用户频繁使用的带标签的物体来识别和建模用户行为。阿齐里亚等人(2008)利用用户反馈来提高性能。当在家庭安全场景中使用行为预测来识别入侵尝试时,用户干扰并不总是可能的。本文提出的算法利用最少的用户干扰来识别入侵。莫内科索和雷马尼诺(2010年)分析了家中的活动,如做饭、吃饭、洗漱/沐浴、看电视、睡觉/躺在床上、在书桌前工作或无任何可检测到的活动,以使用隐马尔可夫模型识别观测值中的模式。
莫赫塔里等人(2017年)的研究使用热释电红外(PIR)传感器来检测用户在家中的移动方向,并部署超声波阵列以检测移动居住者的身高,这些信息被结合起来计算人员移动的速度。研究人员利用蓝牙低功耗(BLE)通信模块将数据传输到数据服务器。该研究主要侧重于根据居住者的生理特征及其在家中各处移动的速度来区分不同的家庭居住者,因此系统只需区分少数几位家庭住户。当该方法应用于家庭安全时,样本集显著增大,而速度和用户身高之类的生理特征不足以成功识别对家的入侵尝试。
崔等人(2005年)的研究通过利用用户的体温、脉搏、面部表情、室温、时间和位置来学习用户上下文。他们的研究未能考虑到用户的体温、脉搏或面部表情可能因疾病、情绪状态等多种其他因素而发生变化。此外,他们的工作使用摄像头读取面部表情,当这些摄像头被熟练的攻击者攻破时(英国广播公司(BBC)-安德鲁·希尔克,2013),会加剧家庭的安全问题。
达斯等人(2011年)提出了一种基于iOS的智能家居安防系统,该系统使用通用分组无线服务(GPRS)。研究人员开发了一个可在客户端设备上运行的iOS应用程序。家庭设备和iOS应用程序连接至云,云充当服务器。该研究提出的方案利用摄像机、麦克风和运动传感器为家庭提供安全保护。摄像机由运动触发,用户可通过支持GPRS的设备上的客户端应用程序或通过网页浏览器查看画面。通过网页浏览器访问安防系统会带来一系列与浏览相关的安全问题,例如会话劫持、Cookie窃取和跨站脚本(萨哈,2009年;法加尼和阮,2013年)。
3 方法
在先前的研究(Jose和Malekian,2017)中,我们开发了逻辑感知技术,用于预测用户在主要和次要入口点的所可能行为,以识别入侵尝试并做出响应,从而保障家庭安全。当有人进入空置房屋时,现有的家庭安全系统会启动身份验证计时器。用户需在固定的时间(身份验证时间)内确认其身份。
该算法预设的身份验证时间为90秒(Jose和Malekian,2017)。可以认为,90秒的时间足以让一个有针对性的劫匪在防御措施被触发之前进入家中并逃离。身份验证时间可以根据用户行为显著缩短或动态调整。
本文提出了一种行为预测算法,以进一步提高家居的安全性。论文将行为定义为观察序列中的任何可识别模式。在分析智能家居中的行为时,该算法在训练阶段尝试识别用户行为中的可识别模式,这些信息随后被用于及时预测正常用户行为。当有人进入空置房屋时,其在房屋内的行为将与已学习或预期的正常用户行为进行比较,以识别进入空置房屋人员的合法性。本文提出的算法可在15秒内识别可疑用户行为,并将身份验证时间从90秒减少到45秒,作为一种防御措施。
本文确定了行为预测参数,并开发了行为预测算法,以成功区分合法用户行为与攻击行为。通常,入侵者只需几分钟即可完成其任务,因此在家中实施的任何安全措施都必须迅速识别入侵,以防止入侵尝试得逞。本研究利用多种接触传感器、光传感器、压电传感器、微控制器和树莓派来识别和检测用户行为。
3.1 时间参数
提出的工作的目标是观察用户的行为模式,理解正常用户行为,并及时识别进入空置房屋的人员的合法性。识别过程通过将已知或理解的用户行为与新进入家中的人员的行为进行对比。
一天的时间被划分为白天和夜晚,因为用户在白天和夜间期间的行为存在显著差异。此外,仅在夜间期间考虑用户的灯光行为,因为在白天期间公寓内部光线充足。
为了成功识别用户行为,将24小时的一天分为两部分,即白天和夜间。早上6:30至下午5:30之间的用户行为被归类为白天行为,而下午5:31至早上6:29之间的行为则被归类为用户的夜间行为。在算法能够识别合法用户行为之前,需要先进行训练以识别熟悉的行为。选择早上6:30至下午5:30作为白天是因为在一年中至少有一次,在用户进入公寓时室内有充足的自然光,使其无需打开灯光。用于识别用户白天和夜间行为的时间段会根据算法实施位置的自然光可用情况而变化。只有当用户在家中打开灯光时,才能识别其夜间行为,这种情况通常仅在家中缺乏自然光时才会发生。因此,白天和夜间时间的划分取决于家中自然光的强度。
在时间参数中,该算法识别空置房屋变为被占用的时间,或者换句话说,该算法识别出合法用户在白天或夜间返回空置房屋的时间。某人进入空置房屋的时间尤为重要,因为几乎所有入侵者都会选择在房屋无人时试图闯入。此外,如果入侵者试图闯入已被占用的房屋,用户极有可能对闯入行为做出反应。如果入侵发生在用户在床上睡觉时,安全系统会识别出用户在床上的位置,并通过启动防御措施来应对(Jose和Malekian,2017)。
一旦有足够的数据来预测用户回家的正常时间,该算法就会利用这些信息识别正常的用户行为,并将其与可疑行为区分开来。用户在白天和夜晚进入家中的时间被分别分析。当房屋状态为空置时,算法会监测主要出入口;当主要出入口被打开且用户进入空置房屋时,即可确定用户的进入时间。这一过程通过接触和运动传感器来识别。
3.2 灯光行为
当合法用户进入家中且环境较暗时,由于其已知家中灯光开关的位置,会在极短时间内(几秒内)打开灯光。相反,如果入侵者或外部人员进入家中,由于不知道灯光开关的具体位置,因此需要更长时间才能打开灯光。此外,一些入侵者倾向于在黑暗中行动,因为开灯可能会暴露其在室内的存在。只有当公寓内部灯光强度较低且可见度受限时,灯光行为才会被纳入行为预测算法的考虑范围,因为如果公寓内有充足的自然光,用户可能选择不开灯。这使得该算法的灯光行为预测主要局限于夜间。
在训练期间,该算法会计算合法用户进入黑暗的无人居住的房屋时打开灯光所需的时间。当空置房屋变为被占用状态且公寓内光照强度较低时,系统会识别进入公寓的人打开灯光所需的时间,并将其与正常用户行为进行比较。如果观察到的行为与预期用户行为存在显著差异,则将该观察结果归类为异常用户行为。这种异常行为会对进入公寓的人的合法性产生负面影响。
3.3 其他用户行为
任何可在用户进入空置房屋后短时间内被预测和识别的重复性用户行为,均可整合到算法中用于合法用户识别。将其他可预测的用户行为整合到算法中,可增强用户该方法的识别能力。这些参数可以是用户特定的,例如将房门钥匙放在碗中、将鞋类放在特定位置、进入家时打开特定窗户。在考虑其他行为参数时,重要因素包括识别用户行为的难易程度以及检测特定用户行为所需的时间。识别用户行为所需的时间成为一个关键因素,因为必须及时识别非合法用户进入空置房屋的情况,以启动相应的防御措施。
使用压电传感器来识别公寓钥匙何时被放入碗中。用户每次进入家门时,无论白天还是夜间,都会习惯性地将家中的钥匙放入碗中。因此,这种行为预测可用于白天和夜晚的用户合法性判断。在训练过程中,算法会学习合法用户在进入空置房屋后将钥匙放入碗中所需的平均时间。
打开后,在运行期间,该算法会计算用户首次进入空置房屋后将钥匙放入碗中所需的时间,此行为将与预设用户行为进行比较,以识别进入房屋的用户合法性。如果识别出的行为与预期用户行为不同,则会对识别进入房屋人员身份产生负面影响。
在识别并学习特定家庭的行为预测参数后,该算法使用朴素贝叶斯分类器来预测正常用户行为。贝叶斯分类器将根据用户在家中的行为,给出其为合法用户的概率。该算法的行为参数被建模用于及时区分正常用户行为和异常用户行为,以便激活入侵防御机制,有效防止入侵尝试。
当行为预测算法识别出用户行为异常时,可能意味着存在入侵尝试,或合法用户的行为方式出乎预期。无论哪种情况,从安全角度来看,这都需要进一步分析。作为对异常用户行为的防御机制,该算法可以向用户发出异常行为警告,并将身份验证时间(Jose和 Malekian,2017)从90秒减少到45秒。关于异常用户行为及潜在家庭入侵的警告,可通过用户随身携带的所有电子设备发出,例如智能手机、平板电脑、智能手表、笔记本电脑等。
4 硬件与实验设置
所提出的行文预测在运行频率为1.2吉赫兹、搭载4 × ARM Cortex‐A53处理器和1GB LPDDR2(900兆赫兹)内存的树莓派3上实现。树莓派3采用博通VideoCore IV进行图形处理,并使用32GB Class 10微型安全数字(SD)卡作为硬盘存储,其中安装了Raspbian操作系统(OS)和MySQL数据库。树莓派3通过一个10/100 Mbps以太网端口和内置无线适配器实现网络通信。
Raspbian OS专为树莓派优化。使用笔记本电脑将 Raspbian OS烧录至SD卡后,再将其集成到树莓派中。采用Java编程平台实现行为预测算法。MySQL是一种关系型数据库系统,提供客户端/服务器架构,行为预测算法使用MySQL作为数据库来预测和比较用户行为。MySQL和Java 7 JDK(Java开发工具包)均通过APT(高级打包工具)命令以根用户权限从Debian软件仓库安装到树莓派上。
在主要出入口使用配备ATmega328P集成电路的Arduino Uno微控制器来学习用户行为。Uno拥有十四根数字输入/输出引脚,其中6根可用作脉冲宽度调制(PWM)输出。它还具有USB连接器端口、六个模拟输入、在线串行编程(ICSP)接口和复位按钮。Arduino在运行上成本效益高且非常灵活,可通过USB端口连接到个人计算机作为接口使用,也可在独立模式下运行。在传感器配置过程中,通过将Arduino Uno模块连接到个人计算机并使用 Arduino集成开发环境(IDE)进行编程,使其工作于接口模式。此外,Arduino项目拥有强大的在线社区支持。
在主要出入口处使用微型接触/限位开关来感知主要出入口的状态。运动传感器或可调被动红外(PIR)传感器用于识别有人进入家中的情况。PIR传感器能够实现长达400厘米的非接触式测量,且其视场角小于180°。PIR传感器通过检测人员进入传感器视场角时散发的热能来工作。
光敏电阻(LDR)用于测量公寓各个部分的光强度。LDR使用具有可变电阻的光敏电阻,其阻值随光强度的变化而变化。当传感器表面的光强度增加时,电阻减小。
压电传感器用于识别公寓钥匙何时被放入碗中。压电传感器利用压电效应,实现电能和机械能形式之间的转换。在压电传感器中,声压被转换为电压,该电压可通过 Arduino Uno模块进行测量。当用户将钥匙放入碗中时,会产生声压。
显示了部署在钥匙碗中的压电传感器,(b) 显示了放置在钥匙碗内的钥匙(彩色版本请参见在线文章))
树莓派与微控制器之间的通信通过无线方式进行。无线通信技术相比有线方式具有更高的灵活性和移动性。在考虑用于无线通信的各种技术时,曾评估了蓝牙和 Wi‐Fi等技术。Wi‐Fi通信技术运行成本高,且运行需要较高的功耗。蓝牙则存在范围有限、功耗高以及一些众所周知的安全问题(Ryan, 2013),因此Wi‐Fi和蓝牙均被舍弃作为通信介质。在实验中,采用ZigBee无线技术进行通信。ZigBee具有低功耗的特点,支持大规模网络配置,通信范围为10–100米,数据速率为250 kb/s。这些特性使ZigBee成为提出的工作中数据通信的理想选择。此外,许多研究人员已提出并成功实现了基于ZigBee的不同安全通信技术(Namboodiri等,2014;Melaragno等,2012年)。
实验在一间单间公寓中进行了九周。该公寓位于一栋六层公寓楼的第二层。公寓带有一个面积为15平方英尺的小阳台,用户可通过阳台门进入阳台。除了通过公寓内的阳台门,住户还可通过攀爬建筑物外墙到达阳台。公寓的主要出入口是前门,前门通向一个公共区域,公寓楼的所有住户均可进入该区域。实验中考虑了家中的四个主要区域以获取行为预测参数,分别是:主要出入口(进出公寓的主门)用于识别进入家中行为、公寓内前门附近的光照强度、公寓内靠近阳台门处的光照强度、以及公寓钥匙在碗中的放置位置。
在先前的研究中(Jose和Malekian,2017)设计了四个板,用于预测逻辑传感参数,使用板I的接触传感器和运动传感器来识别有人进入家中的情况。板I部署在主要出入口附近,板II部署在阳台门(次要出入口)附近。板III部署在厨房的天花板上。光传感器被集成到板 I、板II和板III中,用于测量公寓各个部分的光强度。
使用ZigBee系列1模块实现ZigBee通信。连接到树莓派的ZigBee通信模块被配置为ZigBee协调器(ZC)。连接到微控制器的ZigBee通信模块被配置为ZigBee终端设备 (ZED)。所有ZigBee通信模块的数据速率均设置为9600比特每秒(bps),并采用AES加密来增强数据传输过程中的通信安全。ZigBee模块通过XCTU软件工具进行编程,且加密密钥从不以明文形式通过无线方式发送。
5 机器学习和结果
实验的前七周用于训练或学习正常用户行为。在这七周期间,家还受到来自可信朋友的入侵尝试,该朋友被要求在不被察觉的情况下闯入家中。他被要求在白天或夜间任意时间通过主要或次要出入口进行闯入。收集到的数据随后被添加到安全算法中,并在公寓中实施两周。为了避免在模拟闯入尝试期间出现邻居报警等严重安全情况,执行闯入的人会被提供房屋钥匙,因为熟练的窃贼可以轻松撬锁。执行模拟闯入的人也不了解行为预测所考虑的参数。
5.1 机器学习
在机器学习过程中,算法会识别用户在白天和夜间进入家中的时间。白天和夜间的用户行为被分别分析,因此将用户从早上6:30到下午5:30之间的行为归类为白天行为,而从下午5:31到早上6:29之间的行为则视为夜间行为。在七周训练期内,白天空置房屋变为被占用的情况共发生了54次。在这54次有人进入空置房屋的情况中,47次为合法用户进入,其余7次为入侵尝试。在47次合法用户回家的情况中,有39次发生在下午2:30至下午4:30之间。因此,下午2:30到下午4:30这段时间被称为“白天高峰时段”。
在白天发生的七次入侵尝试中,只有一次发生在白天高峰时段,其余六次均发生在其他时间。有六次入侵者试图在家中有人时闯入住宅:其中两次是在家中有人时从外部打开主要出入口;一次是在用户在床上时同时打开了主要出入口和次要出入口。在这几种情况下,根据先前的研究(Jose和Malekian,2017)中讨论的安全算法,入侵防御机制被激活,入侵警报被触发。此外,在白天期间,有两次从外部打开了次要出入口,当时触发了警告。
白天,该算法会识别用户进入家后立即将钥匙放入钥匙碗的次数。在合法用户进入空置房屋的47次中,有45次他将钥匙放进了钥匙碗。其中有三次他因忙于其他事情而未放。没有将公寓钥匙放入钥匙碗中。在三次中,有两次用户在白天高峰时段忘记将钥匙放入碗内,一次在其他时段。在入侵者进入家中的七次中,从未有一次将钥匙放在碗内。此外,真正的入侵者可能并不持有公寓钥匙,通常会通过撬锁或其他方式进入家中。平均而言,用户大约需要15秒将公寓钥匙放入碗中。因此,该算法需要15秒来识别用户的钥匙放置行为。
白天,用户的灯光行为变化很大。在白天合法用户进入家中的47次中,仅有11次打开了灯光。有七次是在公寓内灯光强度较低时打开灯光的,所有光传感器数值显示光照强度均低于350。其余四次,公寓内的光照强度较高(大于350),但用户仍然打开了灯光。因此,白天的灯光行为在行为预测中被忽略。
在学习用户行为期间,该算法预测合法用户在夜间更频繁回家的时间,称为‘夜间高峰时段’。夜间期间,在下午5:31到早上6:29之间,空置房屋被占用59次。在这59次进入中,32次为合法用户进入家中,27次为入侵。32次合法用户进入中有18次发生在晚上10:00到中午12:00之间的2小时窗口内,因此将晚上10:00到12:00之间的2小时窗口确定为‘夜间高峰时段’。其余14次合法用户进入发生在夜间的其他时间。27次入侵尝试中有3次发生在夜间高峰时段,而24次入侵尝试发生在夜间的其他时段。在夜间其他时段发生的24次入侵尝试中,有两次入侵者能够打开前门附近的灯光。
除了27次入侵尝试外,夜间期间主要出入口在家中有人且用户未上床时从外部被打开两次,在用户在床上时一次;次要出入口在夜间期间用户在床上且家中有人时从外部被打开一次,在用户未上床时一次。在上述五种情况中,均根据先前的研究(Jose和Malekian,2017)中讨论的安全算法激活了入侵防御机制并触发了警报。
在夜间期间,合法用户进入家中共32次,其中有27次在6秒内打开了前门附近的灯,23次在12秒内打开了阳台门附近的灯或室内灯。有17次同时打开了前门附近和公寓内部的灯。有两次,合法用户进入家时,在预期时间范围内未打开公寓内的任何灯光(即前门附近的灯未在6秒内开启,且阳台门附近或室内灯未在12秒内开启),分别发生在夜间高峰时段和其他时段各一次。在27次入侵尝试中,入侵者有两次打开了灯光。在打开前门后的6秒内靠近前门。这两个时间点未发生在夜间高峰时段的入侵期间。
在夜间高峰时段,合法用户18次进入家中共有11次在6秒内打开了前门附近的灯,且在12秒内打开了公寓内部的灯。在夜间高峰时段,合法用户18次进入家中时,有15次在6秒内打开了前门附近的灯。在夜间高峰时段,合法用户18次进入家中时,有14次在12秒内打开了公寓内部的灯。在夜间期间的其他时间,合法用户14次进入家中时,有6次在6秒内打开了前门附近的灯,且在12秒内打开了公寓内部的灯。在夜间期间的其他时间,合法用户14次进入家中时,有12次在6秒内打开了前门附近的灯。在夜间期间的其他时间,合法用户14次进入家中时,有9次在12秒内打开了公寓内部的灯。
在夜间合法用户进入家时,32次中有27次将钥匙放在了钥匙碗中。有5次在夜间,用户花费超过15秒才将钥匙放入碗中,或根本没有将钥匙放入碗中。其中一次是在夜间高峰时段忘记将钥匙放入钥匙碗,另一次是在夜间其他时段前门附近的灯和公寓内部的灯都打开时忘记放置。同样,有一次在夜间高峰时段忘记将钥匙放入钥匙碗,另一次在夜间其他时段前门附近的灯打开时忘记放置。此外,还有一次在夜间高峰时段以及一次在夜间其他时段当公寓内部的灯打开时,用户也忘记了将钥匙放入碗中。
一旦识别出正常用户行为,便构建一个朴素贝叶斯网络并将其集成到行为预测算法中。该行为预测算法在用户进入空置房屋时观察其行为。用户的灯光行为在12秒内被识别,钥匙行为在15秒内被识别。因此,所提出的算法需要15秒来识别和区分正常与异常用户行为。
通过以下方程可以计算夜间期间用户行为的贝叶斯概率:
$$
P(N|L_{1\&3}, L_2, K, T) = P(N) \times P(L_{1\&3}|N) \times P(L_2|N) \times P(K|N) \times P(T|N)
$$
(1)
其中,“N”表示正常用户行为,“L1&3”表示前门附近的灯光状态,“L2”表示公寓内部灯光的状态,“K”表示夜间期间钥匙在钥匙碗中的放置情况,“T”表示用户夜间回家的时间。
公式(1)中使用的所有变量,“N”、“L1&3”、“L2”、“K”和“T”彼此相互独立。用户到家的
时间
对其
灯光
强度变化或其
钥匙
放置
行为
没有影响。为了实现
灯光``行为
的独立性,该
灯光
部署在前门附近的灯和公寓内部的灯周围的传感器靠近灯光,因此当灯光开启时,光传感器数值会显著上升。夜间期间,只要灯光开启,在所有情况下光传感器读数至少上升100数值。同样,用户的钥匙放置行为与用户的灯光行为以及夜间回家时间无关。
白天用户行为的贝叶斯概率可以通过以下方程计算:
$$
P(N|K, T) = P(N) \times P(K|N) \times P(T|N)
$$
(2)
其中,‘N’ 表示正常用户行为,‘K’ 表示白天将钥匙放入钥匙碗中,‘T’ 表示用户白天回家的时间。此处讨论的所有贝叶斯变量均为二元的,其值由部署在家的各个部分的传感器获得。
公式(2)中使用的所有变量,‘N’、‘K’和‘T’彼此相互独立。用户的钥匙放置行为与用户白天期间回家的时间无关。同样,用户白天期间回家的时间也与用户的钥匙放置行为无关。
图10展示了在夜间学习用户行为后,使用Netica表示的贝叶斯网络。图11和图12展示了当不同参数变化时,使用Netica表示的夜间正常用户行为的概率。图13展示了在白天学习用户行为后,使用Netica表示的贝叶斯网络。图14表示在一天中其他时段进入家中且钥匙被放入碗中时,白天在Netica中正常用户行为的贝叶斯网络概率。当良好用户行为的概率低于50%时,该用户行为被识别为可疑。
5.2 结果
在公寓中,将训练期间分析和确定的行为预测参数作为行为预测算法实施了两周,在此期间用户总共进入了24次空置房屋,白天期间(早上6:30至下午5:30)进入13次,夜间期间(下午5:31至早上6:29)进入11次。
图15显示了用户进入家中的总次数、白天和夜间进入次数、生成的警告数量以及触发的警报数量。在白天的13次进入家中事件中,有10次发生在白天高峰时段,其余3次发生在其他时段。在白天用户13次进入空置房屋的情况下,其中有12次用户在进入家中后的15秒内将公寓钥匙放入了钥匙碗中。在这12次中,算法给予用户90秒的时间进行身份验证。有一次用户放置钥匙到碗中耗时超过15秒,因此算法触发了警告,通知用户其行为属于异常用户行为,并将身份验证时间减少至45秒。
夜间期间,用户共进入家中11次,其中8次处于夜间高峰时段,3次处于其他时段。用户有8次在6秒内打开了前门附近的灯,2次在12秒内打开了公寓内部的灯。另有1次在6秒内打开前门附近的灯,在12秒内打开公寓内部的灯。有一次,用户没有打开前门附近的灯,而是在进入家后12秒内打开了公寓内部的灯光。在夜间用户进入家中的11次中,钥匙每次都放置在了钥匙碗中。有一次,用户在进入公寓后超过12秒仍未打开任何灯光,因此系统生成了可能入侵的警告,并将身份验证时间减少至45秒。
表1显示了贝叶斯网络在白天期间可能采取的所有组合,使用公式(2)计算每种四种情况对应的正常与异常用户概率。表2显示了贝叶斯网络在夜间期间可能采取的所有组合,使用公式(1)计算每种16种情况对应的正常与异常用户概率。
本文提出的智能家居行为预测算法能够以高准确率识别正常用户行为。该行为预测算法的召回率和识别准确率为91.66%。
| No | 进入时间 | 钥匙放入碗中 15秒内 | 用户行为 | 良好用户行为概率 (%) | 不良用户行为概率 (%) |
|---|---|---|---|---|---|
| 1 | 黄金时间 | Yes | 99.0 | 1.0 | |
| 2 | 黄金时间 | No | 5.12 | 94.9 | |
| 3 | 其他时段 | Yes | 87.5 | 12.5 | |
| 4 | 其他时段 | No | 12.5 | 87.5 |
表1 显示了白天期间贝叶斯网络可能采用的所有组合及其对应的正常与异常用户概率
| No. | L1 和 L3 发生了变化 在6秒内增加100 | L2 变化了 100 12秒内 | 进入时间 | 碗内的 15秒内碗内 | 用户行为 | 良好用户行为概率 (%) | 不良用户行为概率 (%) |
|---|---|---|---|---|---|---|---|
| 1 | Yes | Yes | 黄金时间 | Yes | 61.1 | 38.9 | |
| 2 | No | Yes | 黄金时间 | Yes | 77.8 | 22.2 | |
| 3 | Yes | No | 黄金时间 | Yes | 83.3 | 16.7 | |
| 4 | No | No | 黄金时间 | Yes | 5.55 | 94.5 | |
| 5 | Yes | Yes | 其他时段 | Yes | 42.8 | 57.2 | |
| 6 | No | Yes | 其他时段 | Yes | 64.3 | 35.7 | |
| 7 | Yes | No | 其他时段 | Yes | 85.7 | 14.3 | |
| 8 | No | No | 其他时段 | Yes | 7.14 | 92.9 | |
| 9 | Yes | Yes | 黄金时间 | No | 9.09 | 90.9 | |
| 10 | No | Yes | 黄金时间 | No | 7.14 | 92.9 | |
| 11 | Yes | No | 黄金时间 | No | 6.66 | 93.3 | |
| 12 | No | No | 黄金时间 | No | 1.0 | 99.9 | |
| 13 | Yes | Yes | 其他时段 | No | 16.7 | 83.3 | |
| 14 | No | Yes | 其他时段 | No | 11.1 | 88.9 | |
| 15 | Yes | No | 其他时段 | No | 1.0 | 99.9 | |
| 16 | No | No | 其他时段 | No | 1.0 | 99.9 |
表2 显示了夜间贝叶斯网络可能采取的所有组合及其对应的正常与异常用户概率
6 讨论、特征与比较
6.1 讨论
在机器学习过程中,根据公寓内光强度将一天24小时划分为两个时段。当公寓内有足够自然光时,无法期望用户进入家后会打开灯光。即使用户在白天进入家时偶尔打开了灯光,但在自然光充足的白天,用户没有理由开灯。因此,算法在逻辑上不应考虑用户在白天的灯光行为。此外,将一天划分为两个时段可以识别出两个高峰时段,即白天高峰时段和夜间高峰时段,这有助于提高算法的用户行为预测准确率。
为了了解入侵者行为,邀请一位朋友模拟入侵住宅,同时考虑并保持入侵者可能使用的所有参数。他确定了住宅更有可能无人的时间段,以及可用于进入住宅的入口点数量。该入侵者被提供了房屋钥匙,以避免在公共区域撬锁,从而降低被公寓楼其他住户发现并向管理部门报警的风险。本文假设真正的入侵者会通过撬锁进入住宅。该入侵者在白天家中有人时尝试了六次闯入。所有这些尝试均未成功,其中四次触发了警报,因为用户在床上或门从外部打开;另外两次,用户收到了入侵尝试的警告。
夜间期间,入侵者两次成功打开了前门附近的灯光。这种行为可能是由于入侵者在多次重复闯入后对家环境更加熟悉所致。如果这种情况发生在行为预测算法实施之后,则该算法仍然能够提醒用户有关入侵尝试的情况,因为没有钥匙被放在碗中。在所有入侵尝试期间,入侵者并未将钥匙放入钥匙碗中,因为他不知道行为预测算法所考虑的参数。
在白天的闯入尝试失败后,入侵者试图在夜间通过主要和次要入口点进入家中,当时家中有人且用户在床上。所有这些情况都导致算法触发了警报。
表2中的第5项说明了当用户在其他时段进入家时,钥匙在15秒内被放入碗中,前门附近的灯和家内的灯光分别在6秒和12秒内打开。良好用户行为概率为42.8%,而不良用户行为概率为57.2%,这是因为贝叶斯网络在机器学习过程中针对特定用户进行了定制。在机器学习期间,用户在夜间其他时段进入家中且将钥匙放入碗中的14次情况中,仅有6次同时打开了两处灯光。另一方面,当用户在夜间其他时段进入家中且仅打开了前门附近的灯时,贝叶斯网络测得的良好用户行为概率为85.7%,因为在机器学习期间,用户在夜间其他时段进入家中并将钥匙放入碗中的14次情况中,有12次在进入后的12秒内仅在规定时间内打开了前门附近的灯。
在机器学习期间,当用户在夜间进入家门后,在打开门后的15秒内未将钥匙放入碗中时,该用户行为通常被视为不良行为,这是因为贝叶斯网络在机器学习期间已针对特定用户进行了定制。在机器学习期间,用户在夜间进入家中共32次,其中有27次在打开前门后的15秒内将钥匙放入了钥匙碗中。因此,在表2中第9到第16次进入时的良好用户行为概率相当低。
每当良好用户行为概率低于60%时,作为防御机制,身份验证时间会从90秒缩短至45秒。该算法得出结论:如果良好用户行为概率低于60%,则与已学习的用户行为相比,当前用户行为显示出显著差异,算法对进入家中的人员身份存在严重怀疑,因此缩短了身份验证时间。如果良好用户行为超过60%,则算法认为根据当前用户行为,进入空置房屋的人很可能是合法用户。此时通过身份验证机制重新确认其身份,但用户确认身份的允许时间不变。
算法实施后,白天有一次,用户在开门后的15秒内忘记将钥匙放入碗中,随即触发警告,提醒用户存在异常用户行为。用户注意到警告并立即确认了身份。夜间,用户进入家门后12秒内未打开任何灯光,同样引发了警告,但用户未能及时响应,45秒后触发了入侵警报。
6.2 特征与比较
提出的工作考虑了用户进入家后表现出的独特用户行为,并基于此识别用户身份。该算法还采用了先前研究(Jose和Malekian,2017)中的其他身份验证机制来重新确认用户身份,从而增强安全。当检测到用户行为异常时,在激活入侵防御机制之前,通过身份验证机制确认用户身份的时间将显著缩短,从而减少入侵者在家内的可利用时间。所提出的安全系统即使在家被占用时也可始终保持激活状态,用户无需在离家时手动开启,因此部分消除了人为疏忽对安全的影响。该算法能够识别家何时变为无人状态(Jose和Malekian,2017)。
与研究人员(杨等人,2008;马蒂埃等人,2004;瓦内尔堡和马莱基安,2015,2016年;梅里拉赫蒂等人,2009;范莱霍芬等人,2008;前川等人,2013)提出的方法不同,本文的工作从安全角度出发,在用户进入家后预测其行为,且未使用任何可穿戴传感器。消除可穿戴传感器提高了用户便利性,并避免了可穿戴设备被入侵者窃取并用于非法进入家中的风险。达瓦迪等人(2016)和帕维莱宁等人(2005)提出的用户活动识别方法需要较长时间来识别各种动作中的异常,而本文提出的算法最多仅需15秒即可识别意外用户行为。
提出的工作的用户行为预测准确率优于郑等人(2013)和支持向量机。查胡阿拉等人(2012)的研究利用部署在整个家中的麦克风来识别用户在家中的位置(王等人,2016;瓦内尔堡,2017)考虑了用户的语音、用水量(Malekian 等,2015;克洛特和奈尔,2016年;余等,2017)等参数,这引发了一些严重的隐私问题。提出的工作未使用摄像头或麦克风,显著提升了用户隐私。存储在树莓派中的用户行为数据从不共享,并且可以进行加密以进一步提高数据安全。此外,树莓派保存在家中,通过物理锁进行保护。
7 结论
本文通过识别相关参数,能够及时判断合法用户行为,并成功利用该信息提升家庭安全。所提出的算法综合考虑了用户通常回家的时间、用户的灯光行为及其钥匙行为,以预测合法用户行为。这些参数通过七周的训练数据推导得出,并据此识别出正常用户行为。该安全算法在公寓中实施了两周,在此期间用户白天和夜晚共回家24次,产生了两次警告和一次警报。
在未来的工作中,可以根据独特的用户行为识别和开发更多的行为及逻辑传感参数。
893

被折叠的 条评论
为什么被折叠?



