作为服务的步态识别用于智能空间中的无干扰用户识别
1 引言
过去十年中,物联网(IoT)作为一种新兴的计算范式迅速发展,通过各种网络技术将分布式感知设备(如传感器节点、智能手机、可穿戴设备等)互联,从而实现智能服务,推动智慧健康[1, 2, 8, 15, 20, 27],农业、城市管理、工业等领域的不同应用。随着感知、通信和数据处理技术的进步[5, 6],物联网使人可以随时随地与任何人或任何事物连接[22]。在物联网愿景的推动下,人们与周围环境的交互方式也将发生显著变化。借助感知能力,环境能够感知并响应人的存在,而无需人们配备专用设备。这促进了智能空间[33],概念的发展,使得基于感知技术实现的情境感知能够在现场提供智能且原位的个性化服务。通过利用物联网基础设施中的感知、通信和数据处理能力,智能家居、智能建筑、智慧城市甚至智慧国家等应用得以实现。
无干扰用户识别
在智能空间中,一个基本问题是实现无干扰用户识别,以便向用户提供个性化服务。例如,在智能家居应用中,当某个特定家庭成员回家时,可自动播放其个性化的音乐列表,并根据不同的家庭成员身份触发相应的灯光设置。用户识别在智能空间的安全管理中也至关重要[10]。例如,是否允许某位用户进入该空间,也应取决于用户身份检测的可靠性和准确性。应尽量减少识别过程的干扰性,以提升用户体验。因此,在智能空间的设计中,准确且无干扰的用户识别是一项需要实现的基本服务,以支持智能认证、个性化定制,并改善空间内的用户体验。
许多现有研究已采用不同方法来研究用户识别问题,例如视频处理[11],声学处理[24],基于生物特征的识别,如人脸识别[9],指纹识别[4],和虹膜识别[18]。尽管这些研究已成功证明了准确用户识别的可行性,但在智能空间的应用领域中仍存在各自的局限性。例如,基于视频、基于声学以及人脸识别的方法通常面临较高的计算成本和隐私问题。基于指纹和基于虹膜的识别通常要求用户执行特定动作以完成识别或认证,因此具有侵扰性,且无法提供持续的识别。步态识别是一种新兴技术[38],它利用用户独特的行走模式作为生物特征信号进行识别。使用步态进行识别具有多个优势。首先,步态可以在无需明确要求用户执行特定动作的情况下被opportunistically捕获用于识别。例如,可在空间入口处进行步态识别,使用户在进入空间时自动完成认证。其次,某些步态识别方法(如基于无线的步态识别)不需要记录视频、图像或声音,从而最大限度地减少了隐私担忧。第三,基于步态的处理通常计算密集度较低,因此降低了计算成本。凭借这些优势,我们预计基于步态的识别方法将在未来的智能空间中持续获得青睐,并成为用户识别的一项重要服务。
首先利用摄像头研究了基于步态的方法[19, 29, 30]。然而,如上所述,此类方法通常存在较高的隐私问题,且并不总是适用于智能空间中。最近,由于配备传感器的设备兴起,研究人员提出了基于运动传感器的方法,以实现设备用户识别和安全通信的步态识别[36]。然而,此类方法要求用户手持或佩戴行走过程中的设备,这使得系统无法实现多用户识别。为了实现更少干扰的基于步态的识别,研究人员开始研究基于无线的步态识别。诸如WiFi之类的无线信号被用于提取特征,并在用户经过时识别其身份[38]。这些方法为智能空间中低成本、高准确性且无干扰的用户识别开辟了新的机遇。本文的重点因此在于设计面向智能空间中高效用户识别的无线 RFID基步态识别的服务架构。
在智能空间中设计高效的基于步态的识别服务架构存在若干挑战。首先,为了支持普适的物联网场景,必须满足物联网设备的资源约束。由于大多数物联网设备具有严格的资源限制,因此应尽可能降低计算成本,以减少步态识别过程中的能耗。其次,在真实环境中,用户识别可能至关重要,因为它可能与安全应用密切相关,例如基于步态的认证服务。因此,准确性是一个重要考虑因素,否则无法保证安全性。第三,在智能空间中,用户可能频繁变化,且环境动态不可避免地会影响用户识别的性能,识别服务的设计应充分考虑所有这些因素。
贡献
本文因此提出了作为服务的步态识别(GRaaS),用于智能空间中的无干扰用户识别。为了满足物联网应用的资源约束和及时响应需求,我们设计了边缘‐云架构以实现服务分发。为实现成本效益和无干扰性,提出了一种基于射频识别(RFID)的解决方案,用于基于无线的步态识别。通过采用新颖的标签选择算法和基于注意力机制的长短期记忆网络(LSTM)模型进行步态识别,以在动态环境中实现高准确率和鲁棒性。通过集成上述所有功能,设计了一种高效的基于无线的步态识别服务架构,用于智能空间中无干扰且准确的用户识别。综上所述,我们做出了以下贡献:
- 我们设计并实现了边缘‐云服务架构,以实现高效的管理服务,从而为物联网设备提供高响应性和低计算开销。
- 我们在感知层采用基于RFID的无线感知技术,以实现对基于步态的用户识别的无干扰性。据我们所知,我们的系统是文献中首个使用RFID信号实现精确步态识别的系统。
- 我们设计了一种新颖的标签选择算法和基于注意力的LSTM模型,以在动态环境中实现准确且鲁棒的识别。广泛评估表明,当前设计在真实环境中实现了高精度,并且对物联网设备具有较低的计算成本。
本文其余部分组织如下。首先,第2节讨论相关工作。接着,第3节介绍步态识别服务管理的整体架构。第4节详细介绍基于RFID的步态识别服务的设计。随后,我们在第5节对整个系统进行评估,在第6节讨论局限性和未来工作,最后在第7节总结全文。
2 相关工作
我们的工作与文献中的几个类别密切相关。在本节中,我们主要讨论感知即服务(S2aaS)、基于射频的手势识别、基于射频的活动识别以及基于WiFi的步态识别方面的最新进展。
感知即服务(S2aaS)
云计算的兴起催生了万物即服务(XaaS),[3],这是一种基于云提供资源作为服务的模型类别platform[22]。其中,感知即服务模型是基于物联网基础设施提出的一种解决方案。该模型设计了四个概念层:传感器数据所有者、传感器数据发布者、扩展服务提供商和传感器数据消费者。该S2aaS为物联网应用提供了传感器数据交换的模型。作为一种特例,本文提出的GRaaS模型是S2aaS模型的具体实现,专门针对智能空间中的步态识别服务。
基于射频的手势识别
由于具有非侵入性、低成本和通用可用性的特点,基于射频(RF)的手势识别近年来变得流行。利用射频信号(如射频识别(RFID)和WiFi),可以根据不同动作模式对接收信号造成不同干扰的原理来感知手势。大多数无线手势识别系统基于射频识别(RFID)或WiFi。例如,基于射频识别(RFID)的手势识别系统 GRFID[40]提出了一种使用复杂特征提取技术来识别少数几种手势类型的系统。Wisee [23]是一种基于WiFi的手势识别系统,在手势识别中成功实现了高精度,但代价是系统实现复杂且需要修改硬件。
基于射频的活动识别
基于相似的原理,基于射频的活动识别[32]将手势识别能力扩展到识别一般性活动,例如跌倒检测[37],行走活动跟踪[35],等等,利用射频识别(RFID)的RSSI信号来识别不同的动作,并提出隐马尔可夫模型(HMM)来推断动作变化。然而,此类基于射频的活动识别系统在动态环境中容易产生误差,需要更复杂的算法或系统设计,以在真实环境中实现更高的准确性与鲁棒性。
基于WiFi的步态识别
基于WiFi的步态识别近年来逐渐成为一个热门的研究领域。WiFi‐ID[39]捕捉WiFi的信道状态信息(CSI)并提取步态特征以实现步态识别。WiFi‐ID捕捉复杂的时域特征,并利用机器学习方法实现准确的分类。该系统无法扩展到大群体,仅限于少于六人的小群体。WiFiU系统[31]利用商用WiFi设备捕捉细粒度的步态特征来识别用户。尽管该系统在大空间和50人规模的群体中实现了超过80%的分类准确率,但系统需要大量数据集进行训练,以及复杂的频谱分析与处理,导致较高的计算成本。
我们的工作与上述所有研究的不同之处在于,我们专注于为智能空间中的物联网应用设计作为服务的步态识别模型。我们设计并实现了用于智能空间中用户识别的边缘‐云架构以及基于射频识别的步态识别技术,以在真实环境中实现准确且稳健的识别。
3 服务管理架构
最近,提出了S2aaS(感知即服务)模型以支持智慧城市(SC)的愿景[22]。感知即服务S2aaS是一种促进数据所有者与数据消费者之间数据交换的构想,包含四个角色:传感器数据所有者、传感器数据发布者、扩展服务提供商和传感器数据消费者。感知即服务S2aaS为来自物联网设备的数据提供了一个通用架构,以实现数据交换,并支持智慧城市中的各种扩展服务,例如数据分析。尽管S2aaS架构为物联网中的数据交换和服务管理提供了结构性方法,但它涵盖的应用范围广泛,并未区分数据类型,也未聚焦于特定应用场景。
随着步态识别成为智能空间中智能用户识别的一项重要功能,我们设想了一种作为服务的步态识别(GRaaS)架构,以支持物联网应用中的高效用户识别。如图1所示,GRaaS模型包含四个概念层:设备层、边缘层、服务提供商层和应用层。
设备层
该层管理配备传感器的设备,以采集与步态相关的信号用于用户识别。例如,摄像头可以对特定区域进行监控,并采集基于视觉的数据用于步态识别,而普通 WiFi接入点可作为采集WiFi CSI信号用于步态识别的设备[39],等等。该层中的设备通常应位于智能空间中目标区域附近,以提供实时传感器输入供后续处理。为了提高数据质量并减少数据传输开销,可在该层应用数据预处理技术,以减小数据量并消除噪声。
边缘层
在网络传感器数据流的路径中,网络边缘位于用户设备和云服务器之间。该层通常是可选的,但旨在显著提高物联网应用的整体能效和及时响应能力。由于物联网设备存在资源约束,计算密集型任务应卸载到边缘以实现更高的能效。并且由于边缘在物理位置上靠近用户设备,边缘层能够提供比传统云计算范式更快的响应。在 GRaaS中,通常具有计算密集性的机器学习算法应被卸载到边缘。
服务提供商层
该层由服务提供商(SP)组成,这些提供商为生成服务的边缘与客户之间的服务交换提供云平台。边缘运行步态识别算法并生成用户识别服务,这些服务注册在基于云的服务提供商中,后者作为网络、存储和计费的中央平台。每个服务提供商只能访问在其上注册的服务。服务提供商充当中央平台,协调多个生成服务的边缘以及使用步态识别服务的最终应用。
应用层
应用层由对步态识别服务感兴趣的客户组成。客户可能会将步态识别用于各种目的,例如识别、认证、跟踪等。为了获得服务访问权限,应用程序需要向服务提供商注册,且一个应用程序可以向多个服务提供商注册以覆盖特定的目标区域。通过GRaaS架构,用户可以无缝接入步态识别服务,以构建识别系统、认证系统等。
4 面向GRaaS的基于RFID的步态识别服务
在本节中,我们通过设计和实现一种遵循GRaaS架构的基于RFID的步态识别服务来进行案例研究。射频识别(RFID)成本低廉,且在物联网应用中广泛可用。部署射频识别(RFID)价格便宜,即使部署大量标签也具有成本效益。此外,基于RFID的步态识别的无线特性相比基于视觉或声学的识别方法,能最大程度减少隐私问题。基于RFID的步态识别还能够提供持续的识别,且对用户干扰较小,无需用户主动执行特定动作。由于这些优势,基于RFID的步态识别是一种在智能空间应用中极具前景的用户识别服务。在接下来的小节中,我们将详细说明用于GRaaS的基于RFID的步态识别服务的设计。
4.1 技术背景
在本节中,我们简要介绍超高频(UHF)RFID系统的技术背景及其影响步态识别系统设计的信号传播信息。我们特别关注RSSI和相位信息,这些是用于步态识别的基础信息。
4.1.1 射频识别(RFID)与步态识别
在超高频射频识别(RFID)系统中,读写器首先通过天线向标签发射电磁波,标签从该电磁波中提取工作所需的能量。当电磁波遇到标签等目标时,部分电磁波被反向散射回读写器,读写器接收并解调该反向散射电磁波信号,从而获取标签的数据信息。这是一个双向通信过程:其中一个链路是读写器到标签信号,另一个链路是标签到读写器信号。只有这两个链路均成功通信,射频设备才能完成一次有效通信。因此,系统的实际识别距离由最短链路的通信路径距离决定。尽管射频识别(RFID)技术所使用的射频信号能够穿透纸张、木材和塑料等材料,但仍受到多种因素的影响,例如金属、液体等。其中,人体也对射频信号产生显著影响。当射频信号穿过人体时,大部分信号会被人体吸收,因此实际接收到的射频信号将出现可观测的变化。因此,不同的体型和不同的行走模式会对读写器与标签之间的信号传播造成明显的中断变化。这成为利用射频信号对不同步态进行分类并识别人体的基本依据。
4.1.2 步态相关的关键RFID信号信息
通常,接收信号强度指示(RSSI)和相位是当用户在标签与读取器之间行走时可用于区分不同步态的两个关键信号信息。此处,我们简要介绍RSSI和相位信息。
-
RSSI
. RSSI是实际接收信号强度与最佳接收信号强度水平之间的差值,其实现在反向接收通道的基带接收滤波器之后进行。在无源射频识别(RFID)系统读写器中,RSSI主要指标签反射信号的信号强度。目前,RSSI值用于确定与读写器的距离。RSSI值越大,标签距离读写器越近。即RSSI值与标签和读写器之间的距离成反比。and读取器,通常使用对数距离路径损耗(LDPL)模型[7]进行建模:
$$
\text{RSSI} = p_0 - 10\gamma \log_{10}\Delta d + \varepsilon,
$$
其中$p_0$表示距离一米处的RSSI,$\gamma$为衰减率,$\Delta d$表示读取器与标签之间的距离,而$\varepsilon$是一个随机变量,用于描述RSSI测量值的变化。由于多径效应,在实际场景中 RSSI非常复杂,特别是对于无源标签而言。人体对射频信号有显著影响,大部分射频信号在穿过人体后会被人体吸收,再加上环境中的噪声干扰,导致实际接收到的 RSSI产生明显变化。图2展示了让两名用户各自独立行走10次时捕获的RSSI序列。如图2所示,由于每个人的步态具有唯一性,不同用户经过时RSSI的变化也不同,使得该信息成为步态识别的合适输入。
-
相位
. 相位是物理层中射频信号的基本属性。射频信号的相位值描述了接收信号与发送信号之间的偏离程度,范围从0到 $2\pi$。设$d$表示读取器与射频识别(RFID)标签之间的距离,则相位测量值 $\theta$可计算为[25]
$$
\Theta = \left(\frac{2\pi \cdot 2\Delta d}{\lambda} + \mu\right) \mod 2\pi,
$$
其中 $\lambda$为波长,$\mu$为系统噪声。在信号覆盖范围内,由于人体吸收了大部分射频信号,实际接收到的射频相位值会发生显著变化。由于人体步态具有独特性,相位轮廓中的信号变化也具有独特性,因此利用RFID读取器捕获的相位值也可用于步态识别。图3展示了两名用户各自行走10次时捕获的相位轮廓。如图3所示,可以观察到明显的差异,说明了基于相位的步态识别的可行性。
4.2 设计概述
遵循GRaaS架构,我们设计了基于RFID的步态识别服务,用于在采用商用现成RFID设备部署的智能空间中实现用户识别。图4展示了所提出系统的总体设计。整个系统由四个层组成。设备层包括两部分:作为读取器的发射和接收RFID射频信号天线,以及作为应答器的无源RFID标签。首先执行标签选择算法,以确定在处理过程中应使用的最优标签组合,从而提高识别准确率。RFID读取器提取RSSI信号和相位特征作为后续处理的输入。由于 RFID读取器的计算能力有限,提取的数据将上传至本地边缘设备进行处理。边缘设备接收 RSSI和相位
配置并执行步态识别算法以实现用户识别。随后,使用基于注意力机制的LSTM模型对输入数据进行训练与分类,以在边缘层实现精确识别。该服务在服务提供商层注册,后者为客户提供云平台,使其能够从任何位置访问服务器。应用程序(如智能空间中的认证)则可在应用层构建。
工作场景描述如下:设备部署在感兴趣区域,通常为一条普通走廊,其中一侧覆盖有 RFID标签,另一侧为RFID天线和读取器,用于在用户经过时捕获RFID信号。RFID天线持续发射射频信号,标签接收来自天线的射频信号。天线接收并读取解码信息,然后将其发送至边缘设备进行数据处理。边缘设备可以是本地服务器,也可以是具备编程能力的路由器。当人沿走廊行走时,其步态会以独特的方式影响信号传播,导致RSSI和相位值发生变化。因此,当有人通过走廊时,每个标签信号传播的多径也随之改变,这些变化可通过 RSSI和相位信息被捕获,并用于基于步态的用户识别。边缘设备在接收到RSSI和相位特征后,首先对原始感知数据进行预处理,以滤波与归一化原始数据。接着,边缘设备应用基于注意力机制的LSTM模型对预处理数据进行训练与分类,有效学习步态特征,实现准确的步态分类。为了提高准确性,反复执行标签选择过程,以选出用于感知与分类的最优标签子集。
4.3 设备层:标签部署和选择
在设备层,通过部署标签来持续采集RSSI和相位信号,以感知不同的步态模式。在本节中,我们首先介绍标签部署方案,然后介绍用于提高步态识别效率的标签选择算法。
4.3.1 标签部署
在设备层中,为了实现步态识别,首要的挑战是设计用于高效步态识别的标签部署方案。由于室内环境中无线电信号的复杂特性,不同的RFID标签配置决定了 RSSI和相位特征的独特组合,直接影响识别性能。例如,如果两个标签在一定距离内放置过近,就会发生信号冲突问题[28]并影响步态感知的最终数据采集。我们所使用的标签数量
系统也会影响步态识别的最终性能。因此,系统中部署了多个标签,并结合高效的标签选择算法,以确定用于步态识别的最佳标签子集。
典型的超高频RFID读写器的采样率范围为25至30赫兹。由于单个标签仅提供单通道输入,数据量不足以用于步态识别。然而,单个标签的读数容易受到环境噪声的影响,若仅使用一个标签,会导致识别结果可靠性降低。因此,不宜采用单标签进行步态识别,所以在本系统中采用了多标签解决方案。
另一个重要问题是多个标签的配置。一种可能的配置是使用单线拓扑,将所有标签放置在一条直线上。然而,尽管单线标签配置能够较好地捕捉信号变化,但它可能无法检测细粒度身体动作,并且对步态运动的敏感性较低。原因是人体步态运动通常包含全身动作,涉及腿部、躯干、手臂、头部等。因此,使用单线配置无法有效捕捉所有的步态运动。
为了实现更高的精度和更细粒度的识别准确率,采用标签矩阵是一种更优的配置,以捕捉步态中不同身体动作所影响的信号。例如,标签矩阵的下半部分主要对应躯干和腿部的动作,而标签阵列的上半部分则主要对应人体上半身的运动,如摇头和挥手。通过这种方式,我们可以利用采集到的RSSI和相位特征实现更稳健的步态识别。最终部署的标签如图5所示。如图5所示,5 × 5部署了射频识别(RFID)标签矩阵用于步态识别。为了获得更优的性能,提出了一种新的标签选择算法,用于计算矩阵中标签的最优组合。
4.3.2 标签选择
标签选择用于识别要使用的最优标签子集,以减少计算量、提高准确性并增强成本效益。类似的研究表明,最优标签配置可以减少由RFID信号波动引起的误差[12]。标签选择的核心思想是分析从不同标签采集的信号之间的相似性,识别出具有高相关性的标签以及能够代表所有标签的标签,并将该子集用作步态识别的选定标签。动机示例如图6所示。如图6(a)所示,当用户走过部署有读写器和标签的走廊时,tag12和tag13的采集RSSI值高度相似,表明这两个标签的RSSI信号之间具有高相关性。由于它们在标签矩阵中位于同一行,结果表明其中一个标签是冗余的,可由另一个标签表示。图6(b)展示了另一个比较tag8和tag21的RSSI信号的例子。我们可以看到它们的RSSI信号之间几乎没有相关性,这些标签捕捉到了步态运动的不同特性。在这种情况下,两个标签无法相互表示。图6(c)显示了RSSI的三维投影
表1. 符号汇总
| 符号 | 含义 |
| — | — |
| D | 数据集 |
| m | 采样数量 |
| k | 最近邻样本的数量 |
| N | 标签数量 |
| R | 从数据集D中随机选择一个样本R |
| Hj(j= 1, . . . , k) | 来自相同(相同标签)样本的k个最近邻 Hj R |
| Mj(C)(C ≠ class(R)) | 来自每个不同类别(不同标签)的k个最近邻Mj(C)样本集 |
| n | 人数 |
| nj | nj是第j个受试者的样本数量 |
| f¯ji | f¯ji是tagi在第j个受试者中的平均值。 |
| f¯i | f¯i表示tagi在数据集中的平均值。 |
| fjk,i | fjk,i表示kth个样本的tagi在jth个受试者中的平均值 |
| S | 状态 |
| A | 动作 |
| γi | 上边界 |
| ηi | 下边界 |
| M′i | 标签调整 |
| Pn | 预定义模型的准确性 |
| r | 奖励 |
| r′ | 第(n − 1)次迭代与第n次迭代之间的准确性差异 |
| σ | 强激励 |
| vt | 归一化的折扣奖励 |
| β | TSNet的学习率 |
| θ | TSNet的参数 |
值tag6,tag14,tag20, tag24,和tag12。这些标签的RSSI明显可区分;然而,tag0,tag5,tag10,tag20,和tag20的RSSI值的三维投影表明它们高度相关,如图6(d)所示,冗余信息可以被去除以获得更好的识别性能。为了消除冗余并找到最优标签子集,我们使用了三种标签选择算法:Relief F、F-统计和基于深度强化学习的标签选择。在介绍具体的标签选择算法之前,为方便起见,我们在表1中总结了将在后续算法描述中使用的符号。
接收到的RSSI和相位值表示如下:设R ∈ Rd和P ∈Rd(其中d是标签数量)为可观测RSSI r和相位p的域。L ∈{1,…,K} ⊂R为输出主题标签l的域。假设有n组RSSI、相位和主题标签对{(ri, li)|ri ∈R, li ∈L, i= 1, …, n},{(pi, li)|pi ∈R, li ∈L, i= 1, …, n},以及{(ri, pi, li)|ri ∈R, pi ∈R, li ∈L, i= 1, …, n}。训练数据集可以描述为
$$
R=[r1,…, rn] ∈ R^{d×n},
$$
$$
P=[p1 ,…,pn] ∈ R^{d×n},
$$
$$
L=[l1 ,…, ln] ∈ R^n.
$$
(3)
W有了这些符号,我们现在可以讨论详细的标签选择算法s.
算法1: Relief F
输入:数据集 D,采样数量m,最近邻样本的数量 k,数量标签 N
输出:每个标签T的权重
1 将所有标签权重设为0,并将T设为空集;
2 对于i= 1, 2,. . ., m do
3 我们从数据集D中随机选择一个样本R;
4 从R的相同(相同标签)样本中找到k个最近邻 Hj(j= 1, . . .,k),并找到k 每个不同类别(不同标签)样本集的最近邻 Mj(C)(C ≠ class(R));
5 结束
6 对于i= 1, 2,. . ., N do
7 执行公式(4);
8 结束
-
Relief F . Relief F 是一种特征加权算法,根据每个特征与类别的相关性分配不同的权重。权重低于某一阈值的特征将被移除。该算法中特征与类别之间的相关性基于特征对近距离样本的区分能力。它计算每个标签的权重,最终得到每个特征的平均权重。特征的权重越大,其分类能力越强;反之,使用该特征进行分类的能力越弱。Relief F 的详细过程如算法1所示。每个tagi的权重通过以下评估函数进行更新:
$$
W(i)= W(i) − \sum_{j=1}^k \frac{\text{diff}(i, R, H_j)}{mk} + \sum_{C≠\text{class}(R)} \left[ p(C) \frac{1 −p(\text{class}(R))}{mk} \sum_{j=1}^k \text{diff}(i, R, M_j(C)) \right],
$$
其中数据集D可以是RSSI、相位,或RSSI与相位的组合。Mj(C)(C ≠(class(R)) 表示第jth个最近邻样本,而diff(i, R1, R2) 表示R1与R2在tagi上的差异,如下所示:
$$
\text{diff}(i, R1, R2)=
\begin{cases}
\frac{|R1[i]−R2[i]|}{\max(i)−\min(i)}, & \text{if } n \text{ is continuous} \
0, & \text{if } n \text{ is discrete and } R1[i]= R2[i] \
1, & \text{if } n \text{ is discrete and } R1[i] ≠ R1[i].
\end{cases}
$$
(5) -
F‐统计 . F‐统计是在进行方差分析(ANOVA)或回归分析时用于确定两个总体均值是否存在显著差异的数值。通过计算F得分来判断一组变量是否联合显著。F得分使用以下公式计算:
$$
F_i = \frac{\sum_{j=1}^n (\bar{\theta} j^i − \bar{\theta}_i)^2 / (n−1)}{\sum {j=1}^n \frac{1}{n_j−1} \sum_k (\theta_{k,j}^i − \bar{\theta} j^i)^2},
$$
其中 θ可以是RSSI、相位,或RSSI与相位的组合,n为人数。nj表示第j个受试者的样本数量。$\bar{\theta}_j^i$表示第j个受试者中tag i的平均值。$\bar{\theta}_i$表示数据集中 tag i的平均值。而$\theta {k,j}^i$表示第jth个受试者中 kth个 tag i样本的平均值。分子表示正类之间的差异和负集之间的差异,分母表示每两个组之间的区别。F得分越高,该标签在步态识别中具有更强区分能力的可能性就越大。 -
基于深度强化学习的标签选择 . 由于不同标签信号反映了用户身体不同部位(如躯干、下肢)的运动,因此我们所使用的并非所有标签都具有同等重要性。可将每个标签视为时间序列数据的一个特征,并通过标签选择来筛选特征。由于标签选择是一个选择最优标签子集的过程,我们可以借鉴强化学习的思想来优化时间序列数据,该过程是一个马尔可夫决策过程(MDP)。在此基础上,我们使用强化学习在每次迭代中逐步选择最优标签子集。图7展示了TSNet的架构。智能体与环境交互,并利用环境生成的奖励来产生动作并更新其状态。我们采用策略梯度算法进行标签选择,通过最大化一组连续动作的折扣奖励来调整梯度下降方向,最终得到指定数量m的最优标签子集。该强化学习中的状态、动作和奖励描述如下。
状态 :强化学习的状态S作为智能体的输入,由两个独立的部分组成{S1, S2}。S1=[M,F],,它是两个张量M和F的拼接。F是样本的全局信息,即由25个标签组成的信息,而M是表示从F中选择的m个标签的信息。M的引入是为了隐式地向 TSNet提供标签选择中所选标签的知识。S2,已选标签索引的二值掩码,旨在显式地使TSNet感知到标签的选择情况。
动作
:动作为TSNet TS(S; θ)的输出,表示每个被选中标签的调整方向。在本例中,我们定义了3种动作:“向左移动”(动作0)、“停止”(动作1)和“向右移动”(动作2),并将移动步长设为1。如图7所示,TSNet在每次迭代时生成一个向量A ∈Rmx3,其中Ai,j ∈[0, 1]表示为第j个动作选择第i个标签的概率。然后,标签调整可设置为
$$
M’
i= M_i+ \Delta_i.
$$
(7)
其中Δi 定义为
$$
\Delta_i=
\begin{cases}
−\min{1,(M_i −η_i)} & \text{if action 0}, \
0 & \text{if action 1}, \
+\min{1,(γ_i − M_i − 1)} & \text{if action 2}.
\end{cases}
$$
(8)
为确保操作正确执行,例如,最后选中标签的索引不应大于f。因此,我们设置了标签调整的上边界 γi(i= 1, 2, . . . ,m)和下边界 ηi(i= 1, 2, . . . ,m),它们分别对应于当前标签与所选标签集中下一个标签之间的中点,以及当前标签与前一个标签之间的中点:
$$
γ=\left\lfloor\frac{M_i+ M
{i+1}}{2}\right\rfloor \quad 1 ≤ i ≤ m− 1, \quad f \quad i= m,
$$
(9)
$$
η_i =\left\lfloor\frac{M_i + M_{i−1}}{2}\right\rfloor \quad 2 ≤ i ≤ m, \quad 0 \quad i= 1,
$$
(10)
其中,“⌊⌋”表示向上取整函数,m为选定标签的数量,f为标签数量。这里 γ和 η是两个大小为m的数组。对tagi的调整在边界[γ,ηi内执行,否则无效。
奖励
:奖励表示智能体在状态S下执行某个动作后表现的优劣,其为一个函数r(st, at)。在本研究中,我们使用预训练的AT‐LSTM模型生成奖励,以指导标签选择。在我们的强化学习中,预训练模型的输出并非简单的正确或错误,而是准确性。因此,在第一次迭代时,如果测试准确性高于预定义的准确性阈值 Λ,则奖励r设为1,否则设为 −1。为了更好地表示奖励r的变化,我们使用r′来表示第(n − 1)th次与第n次迭代之间准确性(Pn和Pn−1)的差异。我们定义r′如下:
$$
r′ = P_n − P_{n−1}.
$$
(11) 在强化学习中,当r=+ξ大于预定义阈值 Ω时,施加一个强烈的刺激;当r′小于 {v8}时,施加强惩罚。否则,奖励r的取值为{v9}。对于第n次(n> 1)迭代,奖励 r可以表示为:
$$
r=
\begin{cases}
+ξ & \text{if } r′ >= Ω, \
−ξ & \text{if } r′ <= −Ω, \
{−1, 1} & \text{otherwise}.
\end{cases}
$$
(12)
用于强化学习的策略梯度方法。图7显示了TSNetTS(S;θ)的整体架构,该架构使用卷积神经网络(CNN)作为强化学习的拟合函数。S的两个独立部分被分别输入到TSNet中,其中S1被送入3个卷积网络,然后连接一个全连接层,而S2被送入一个全连接层。随后,这两个全连接层的输出被拼接,并输入到第三个全连接层。最后,通过softmax函数预测最优动作集。
我们的目标是最大化目标函数 J(θ) = E(r1 + γ r2 + γ² r3 + · · · |π(S,θ))(折扣奖励),我们按如下方式计算交叉熵损失:
$$
L(θ)= − \frac{1}{m} \sum_{i=1}^m \log π(a_t|s_t ,θ)v_t ,
$$
(13)
其中 π(at|st,θ)是softmax函数输出的动作概率,vt是归一化的折扣奖励,主要用于加速梯度下降。我们的损失在原始的交叉熵形式上乘以vt,并使用vt来判断交叉熵计算出的梯度是否为可信梯度。如果vt较小或为负值,则表示梯度下降方向错误,应朝相反方向更新参数。如果vt为正值或较大,则vt将认可交叉熵的梯度并沿该方向继续下降。该损失为强化学习提供了更新参数 θ的方向,参数按如下方式更新:
$$
θ= θ+ β∇L(θ),
$$
(14)
其中 β 是深度强化学习的学习率。
结合AT‐LSTM和TSNet . 对于基于深度强化学习的标签选择,我们首先选择 m个f标签,m是预设的。所选的m个标签用于训练TSNet,预训练的AT‐LSTM模型为TSNet提供实时精度作为TSNet的奖励。对于不同的m,根据TSNet选出的m个标签重新清理全局数据。这些新数据用于训练和测试AT‐LSTM,以获得最佳模型和最优标签子集。这两个模型相互促进,经过多次迭代后,整个强化学习过程将收敛并趋于稳定。我们提出的基于深度强化学习的标签选择流程总结在算法2中。
算法2:标签选择上的DRL
输入:训练数据TTT,迭代次数ititit,每轮中的步数epepep,注意力机制长短期记忆模型ATATAT
输出:TSNetTS(S; θ)TS(S; )TS(S; )的权重 θ
1 初始化 θ;
2 轮次 = 1,2,…,ititit do
3 从TTT中随机选择m个标签
4 初始化 S={S1,S2};
5 对于 t= 1, 2, . . . ,epepep执行
6 使用 St生成 At= TS(St; θ);
7 根据 At 选择动作;
8 将选定标签更新为Mt+1,依据公式(7);
9 将状态更新为St+1;
10 使用 ATATAT,依据公式(12)计算奖励 rt;
11 end
12 计算归一化折扣奖励 vt;
13 计算损失 L(θ)通过公式(13);
14 update θ由公式(14)得出;
15结束
16返回 θ;
运行Relief F算法、计算每个标签的F得分并运行TSNet后,可获得每个标签的相关性,并根据F得分对每个标签的重要性进行排序。更重要的是,我们可以自动获得基于最优标签子集的TSNet。最后,所有三种方法均可根据具体应用场景选择top‐N标签。
4.4 边缘层:基于注意力的LSTM用于精确步态识别
边缘接收来自选定标签的RSSI和相位数据,并执行机器学习算法以高效识别人体步态。在本节中,我们介绍系统中使用的准确步态识别算法。
4.4.1 带有注意力机制的LSTM
长短期记忆网络[13]是一种流行的循环神经网络模型,近年来被广泛使用,在序列数据匹配和分类中表现出色长短期记忆网络。由于本系统中的步态识别采用序列化的RSSI和相位信号作为输入,因此可以自然地建模为一个时间序列分类问题。因此,本文采用LSTM模型进行步态训练与分类,以在智能空间中实现准确的步态识别。为了实现高识别准确率,进一步引入了注意力机制来增强基础的长短期记忆网络 [16]。图8展示了我们基于注意力的LSTM模型的网络结构。
设{(r11,p11,r12,p21,…,rk1,pk1),(r21,p12,r22,p22,…,rk2,pk2),…,(rn1,p1n,rn2,p2n,…,rkn,pkn)}为k个选定标签的RSSI强度和相位序列,最大长度为n,长度小于n的序列将进行零填充。{h1,h2,…,hn}表示隐藏层。va是方面嵌入,{α1, α2,…, αn}表示注意力层。定义以下操作符[34]:
$$
κ= \tanh([ WHH \quad Wva(vaen)]),
$$
(15)
$$
α= \text{softmax}(w^Tκ),
$$
(16)
$$
φ= Hα^T,
$$
(17)
其中 H ∈Rd×n、en ∈R1×n、va ∈Rda、Wva ∈Rda×da、WH ∈Rd×d、κ ∈R(d+da)×n、w ∈Rd+da、 α ∈R1×n、φ ∈ Rd 为基于注意力的LSTM参数,d 是长短期记忆网络的神经元数量。da 是方面嵌入维度参数,en 是一个由 n 个 1 组成的行向量。因此 vaen=[va; va; . . . ;va]将 va 重复拼接 n 次。然后,每个用户的步态表示由下式给出
$$
h_{proj}= \tanh(W_φφ+ W_{hn} h_n),
$$
(18)
其中Wφ ∈Rd×d,Whn ∈Rd×d,hproj ∈Rd×d。hproj被视为RSSI强度和相位序列的特征表示。步态分类由以下给出
$$
\hat{y}= \text{softmax}(W_{hproj} h_{proj}+ b_{hproj}),
$$
(19)
其中Whproj ∈Rc×d,bhproj ∈Rc是软最大函数层的参数,c为类别数量,且为系统中的用户总数。损失函数由[34]给出
$$
\text{loss}= −\sum_i \sum_j y_j^i \log \hat{y}_j^i + λ ‖θ‖^2,
$$
(20)
其中 i是第 i个选定标签的RSSI强度和相位序列的索引,k为选定标签的数量,j是第 j类的索引。y表示独热真实标签,ˆy为概率预测值。 θ表示模型参数设置, λ是 L2正则化项 [34]。基于注意力的LSTM模型通过最小化上述损失函数进行训练。
为了直观地检查训练效果,我们进行t‐SNE投影[17]将所有步态特征投影到三维空间中。图9显示了18名用户的t‐SNE投影[17]学习到的特征。如图所示,投影后的特征在三维空间中可被直观识别为互不相交的簇,表明基于注意力的LSTM模型能够基于捕获的 RSSI和相位信息有效识别步态。
4.5 服务提供商层和应用层
通过设备层和边缘层实现步态识别功能。为了在智能空间中提供用于用户识别的步态识别服务,需要将该服务分发给客户。因此,根据GRaaS架构,边缘层将步态识别服务注册到服务提供商层,后者作为中央云平台进行服务管理。应用层的客户从云平台获取服务后,即可利用步态实现用户识别,以支持智能建筑中的认证、智慧城市中的用户追踪等应用。
5 评估
在本节中,我们对基于RFID的步态识别系统进行了详细的评估。我们首先简要描述实验设置,然后总结详细结果,包括对数据源、标签选择、最终步态识别性能的评估,并将我们的基于注意力的LSTM模型与传统分类算法(如稀疏表示分类(SRC))进行比较[26],以及采用GRaaS模型带来的能效。
5.1 实验设置
5.1.1 实现
我们使用商用现成设备实现了基于RFID的步态识别系统的原型。该系统原型包括一个商用RFID读取器Impinj R420和现成的UHF无源标签 Alien az-9662[14],其中, Impinj读取器的定向天线为 Laird A9028PCL,频率范围902–928 MHz,增益9 dBi。如图5所示,整个系统部署在一条走廊中。每个标签间隔10厘米,形成一个 5 × 5标签矩阵。天线连接到读取器,读取器通过网线连接到路由器。我们使用笔记本电脑作为边缘设备,从 RFID读取器收集数据并执行步态识别。
5.1.2 数据集
为了评估系统性能,我们招募了18名参与者在走廊中自由行走15分钟,共获得900个实例。我们使用一半的数据作为训练数据,其余作为测试数据集。
5.2 评估结果
5.2.1 数据源的影响
为了理解不同数据源(即RSSI、相位以及两者的组合)对识别准确率的影响,我们通过改变数据源和不同的分类算法来测量步态识别准确率。如图10所示,对于SRC和基于注意力的LSTM而言,数据源对最终的识别准确率具有明显影响。对于 SRC,使用RSSI、相位以及两者组合分别达到75.1%、64%和74.8%的准确性。然而,使用基于注意力的LSTM时,准确率分别提升至90.2%、92.8%和96.3%。这是由于数据包含的信息越多,其特征越丰富,而LSTM能够更有效地学习步态特征,因此结合RSSI和相位可提高分类准确率。因此,在基于注意力的LSTM模型中同时使用RSSI和相位进行步态识别。
5.2.2 标签选择的影响
选择标签子集作为输入不仅可以降低计算成本,还能提供更鲁棒的步态识别性能。图11和12分别展示了未使用标签选择以及使用Relief F和F‐统计算法选定的标签子集时的步态识别准确率。如图11所示,如果从25个标签的矩阵中随机选择标签,则随着使用标签数量的增加,准确率会提高,但提升速度慢于图12中所示的标签选择算法。如图12所示,对于SRC和基于注意力的LSTM,随着选定标签数量的增加,识别准确率也随之提高,且提升速度优于不进行标签选择的情况。这是因为使用更多标签时,基于RSSI和相位训练的模型能更好地反映全身的步态运动,从而带来更高的识别准确率;而通过标签选择,仅需较少数量的标签即可达到相同的识别性能。如图12所示,对于使用 Relief F算法的SRC,使用15个标签的准确率与使用25个标签相当。这显著降低了训练和识别的成本,并加快了识别过程,尤其适用于物联网应用。对于基于注意力的LSTM,同样可以观察到类似现象:使用Relief F算法仅需14个标签,使用F‐统计算法仅需9个标签即可达到96%的准确率,与使用全部25个标签的准确率相当。同样,深度强化学习方法也表现出相似的趋势。结果表明,这三种标签选择算法均能有效选择标签子集,在显著降低计算成本的同时实现高识别准确率。更重要的是,基于标签选择的深度强化学习方法比其他两种方法更稳定,意味着其具有更强的鲁棒性。
5.2.3 用户数量的影响
为了理解系统可扩展性,我们进一步研究了随着系统中用户数量的变化,基于射频识别(RFID)的步态识别性能。如图13所示,我们通过将用户数量从 2变化到18来分析识别准确率。从图中可以看出,对于SRC,随着样本数量的增加,分类
表2. GRaaS中基于射频识别(RFID)的步态识别的计算与通信开销
| Task | 时间(毫秒) | 能量(毫焦) |
| — | — | — |
| 基于注意力的LSTM | 315 | 472.5 |
| 数据传输 | 8 | 48 |
准确性逐渐下降,表明SRC的可扩展性较差,且随着人数增加其鲁棒性有限。而对于基于注意力机制的长短期记忆网络,分类准确率不受用户数量直接影响,能保持在约 96.3%的相对稳定分类准确率,表明其在多用户环境中具有良好的性能鲁棒性,能够扩展用于基于RFID的步态识别的多人分类。
5.2.4 注意力模型的影响
本文所使用的注意力机制旨在提高步态识别的准确性和鲁棒性。为了理解其有效性,我们比较了传统LSTM网络与本文所采用的基于注意力的LSTM的性能。如图14所示,可以看出,随着用户数量的增加,传统LSTM模型的步态识别准确率逐渐下降,表明其在用户数量增多时性能降低且可扩展性较差。然而,基于注意力的 LSTM的分类准确率始终保持较高水平,几乎不受用户数量增加的影响,表明其具有更强的鲁棒性、更稳定的性能以及更好的可扩展性。图15显示了所有18名用户的混淆矩阵,从图中可以看出,利用射频识别(RFID)的RSSI和相位信息,所有用户均能被有效识别,平均步态识别准确率达到96.3%。
5.2.5 能量分析
本文提出的GRaaS架构采用了新兴的边缘计算范式,允许将物联网设备中的计算任务卸载到边缘,以实现更高的能效。在此工作中,设备层主要负责确定标签子集,并从标签中收集RSSI和相位信息。构成主要计算开销的关键步态识别算法被卸载到具有更强硬件能力的边缘设备上,以实现更高效的计算。如表2所示,我们测量了本地计算和数据卸载的功耗。如表所示,执行基于注意力的LSTM进行步态识别消耗472.5 毫焦能量,而卸载到边缘服务器仅消耗48 毫焦。由于边缘设备通常不受电源受限且具备更强的计算能力,采用GRaaS模型进行步态识别服务生成显著降低了设备层中物联网设备的能耗,这使得GRaaS模型特别适用于物联网应用。
6 讨论
6.1 应用
所提出的GRaaS框架和基于RFID的步态识别服务在智能空间应用中具有巨大潜力,可作为智能家居、智能建筑、智慧城市等场景中的一项服务。以下是两个可能的应用场景示例: (1)智能家居。在智能家居应用中,用户识别对于根据不同家庭成员的生活习惯提供个性化服务至关重要。(2)智能办公室。在智能办公室中,认证是一项需要实现的关键服务。通过基于RFID的步态识别,可以在无需使用钥匙或身份证卡的情况下准确地对用户进行识别和认证。我们预计,GRaaS框架和基于RFID的步态识别服务在未来智能空间应用中具有广阔的发展前景。
6.2 局限性与未来工作
尽管所提出的基于射频识别(RFID)的步态识别服务能够对大规模人群实现高精度识别,但当前识别的步态粒度仍相对粗糙。其次,在动态环境中,环境噪声会影响识别准确率。虽然我们的学习算法在提供足够训练数据的情况下能够适应不同环境,但为不同环境获取高质量的训练数据仍然是一个挑战,我们将其作为未来工作加以探索。此外,当多个用户同时行走时,无线信号会受到所有用户的影响,因此需要更复杂的信号分离技术以实现更鲁棒的识别。鉴于这些限制,由于射频识别(RFID)设备更容易部署且覆盖范围更广,该方法的非侵入性使其相较于使用摄像头、声学信号等传统识别方法仍具吸引力。通过结合其他无线信号(如WiFi),可能在动态环境中实现更鲁棒的识别性能。在未来的工作中,可探索在动态环境中利用多模态无线信号输入实现多人同时识别的更鲁棒的步态识别服务。为了更快地适应新环境并实现更好的可扩展性,迁移学习[21]等技术可能可用于系统中,以减少重训练开销并加快系统重新部署。
7 结论
在本研究中,我们提出了一种作为服务的步态识别(GRaaS)模型,这是感知即服务模型的一种实例化,用于在智能空间中设计和实现步态识别服务。作为一个案例研究,我们根据 GRaaS模型提出了一种基于RFID的步态识别服务。该服务采用了标签选择算法,并设计了基于注意力的LSTM模型,以实现高精度的基于RFID的步态识别,其准确率达到96.3%。由于具备成本效益、高精度和非侵入性等优势,所提出的框架及基于RFID的步态识别服务在未来智能空间应用中具有巨大潜力。
858

被折叠的 条评论
为什么被折叠?



