基于社交关系的智能家居交互框架

社会设备交互框架：智能家居服务中的相遇与交互

摘要

本文提出了一种利用设备社会性概念来减少人为干预的智能家居服务中智能设备相互交互的框架。该框架通过在设备相遇时建立社交关系，从而实现便捷的设备协作。为了衡量在配置智能设备相互交互过程中减少人为干预的效果，采用了智能设备间相互交互过程的零配置指数。为验证该方法在减少人为干预方面的可行性，将所提出的方法与另一种传统的设备交互协议进行了比较，比较场景为两个智能设备之间的文件和屏幕共享应用。

索引术语

设备社会性，设备协作，设备相遇，智能家居服务。

一. 引言

由于智能手机、平板电脑和智能电视等智能设备的普及，目前许多智能设备正在家庭中被使用。此外，消费类电子产品正通过集成计算和通信能力而转变为智能设备。同时，物联网时代已经开始，在这个时代，即使是牙刷和衣物等日常物品也将实现互联并共同使用。这意味着家庭将被大量具备智能计算能力的物体所包围。围绕家庭的技术变化趋势引发了智能家居应用中设备动态配置的问题。

与传统家庭网络环境相比，在传统环境中设备根据其用途和位置固定或嵌入式安装，而在未来的智能家居环境中，由于需要动态设备配置，手动配置此类设备将是一项困难且繁琐的工作。造成这一困难的原因之一在于智能设备具有移动性，并可在家庭外部使用。另一个原因是这些设备具备计算能力，并以各种形式用于云服务，这意味着它们可能是多功能或通用设备，而不仅仅是嵌入式设备。因此，许多用户需要一种简便的设备协作技术来实现其智能设备的协同工作，因为他们可能认为在动态家庭环境中连接各种设备将难以实现。

一些关于智能设备相互交互的研究已经开展[1]-[3]。这些研究主要关注解决设备间互操作性和兼容性问题以实现设备协作。在某些研究中，在线人类社交网络服务被用作设备连接的平台[4]-[8]。社交设备的概念已被实现，用于将设备与在线人类社交网络相连接，并与其他人类进行协作[4]。设备功能的网址通过在线社交网络服务提供，社交群组成员的设备功能可在该特定群组的对等成员之间共享[5]。圭纳德等人[6]和平图斯等人[7]为物联网站实现了类似的技术，并采用混合技术将具备物联网站能力的设备与在线社交网络相结合。迪亚兹-桑切斯等人[8]开发了一种社交使能器和看门狗，家庭网关可通过其代表家庭设备向社交网络发出请求，从而将家庭设备连接到社交网络服务。类似于在线人类社交网络服务通过互联网和网页技术将用户相互连接，设备也可以基于与其他设备的社交关系轻松地连接起来[9]-[17]。Atzori等人[9]提出了一种称为社交物联网的新概念，其中物的社交网络在物联网内部构建而成。此外，其他研究也尝试根据设备之间的社交关系将设备相互连接[10]-[17]。

在计算机和消费电子技术领域，已开发出一些用于设备交互的协议，包括数字生活网络联盟（DLNA）、通用即插即用（UPnP）和Bonjour。这些协议主要用于多屏应用和多媒体共享。此外，人们还关注提升这些设备功能之间的兼容性。同时，一些研究人员尝试在家庭内部利用社交关系[5],[8],[18]-[20]。此外，贝利姆帕萨基斯等人[18]利用社交因素实现与家庭外部客户端的内容共享。迪亚兹-桑切斯等人[19]在分类、搜索和家庭网络内传输媒体，以实现家庭成员和朋友之间共享媒体文件。此外，Grzonkowski等人[20]提出了一种用于朋友间共享云服务的认证架构，从而为社交家庭网络开发新的云服务。

尽管已有研究致力于解决家庭网络区域中社交方面的互操作性和触控能力问题，但其开发的解决方案无法适应当前智能家居环境中无需附加技术即可实现动态配置的新需求。本文提出了一种社交设备交互框架（SDIF），用于构建社交设备网络，并在传统家庭网络环境中实现设备相遇时的便捷设备协作。通过测量设备间距离以检测设备间的相遇后，可利用设备的社交关系在无人为干预的情况下触发设备交互。通过结合社交设备的连接技术与家庭网络技术，能够应对当前智能家居环境中的动态情况，并易于扩展至未来物联网的家庭环境。

本文其余部分的结构如下。首先，第二节介绍了设备社会性的一些概念以及社交设备交互框架；此外，提出了设备交互中相遇与播放功能的结构。第三节描述了设备交互过程中的零配置指数。为了说明所提出框架的可行性，第四节提供了一个在智能设备间使用的文件和屏幕共享服务的应用实例，并将其结果与另一种流行技术即插即用（UPnP）AV架构进行了比较。最后，在第五节和第六节中分别讨论了进一步研究领域以及关于结果的结论。

II. 智能家居服务的社交设备交互框架

A. 设备社会关系与社会性的概念

由于人类是社会性动物，他们天生渴望与他人建立联系并进行互动。近年来，在线社交网络服务作为一种有效的电子化和虚拟化工具，已广泛流行，用于满足人类的社交需求。类似地，设备之间的社会关系可以被构想为它们连接与交互的虚拟实现。通过在线社交网络服务，设备间的社会关系可以以类似于人类社会关系的方式进行处理。通过赋予智能设备类似人类社会关系的关系能力，可以在无需用户干预的情况下实现设备间的连接与共享。利用设备之间的社会关系，可以省去手动配置设备交互的过程。设备交互与人类交互在在线社交网络服务中的类似协作概念如图1所示。

在社交设备交互框架[12],[13]中，设备之间的社交关系被建模并格式化为设备社交性文件。设备社交性文件包含元数据，用于基于设备描述元数据定义设备间的资源共享和功能协作，并描述一个设备与其他对等设备之间的单一社交关系。该设备社交性文件具有称为授权的机制，用以描述共享资源与其成员之间的服务器/客户端关系；此外，授权源自设备描述，设备描述是分配给设备作为元数据信息的XML或JSON文件。此外，设备社交性文件还包括社交关系的名称、社交关系组中成员对等设备的标识符（ID），以及其他属性，如所有者设备的设备ID及其位置。设备社会性的XML模式如图2所示。拥有该设备社交性文件的设备是共享资源的服务器，而设备社交关系中的成员对等设备则可能是该设备共享资源的客户端。

当两个设备连接时，并非grant中的每个资源都处于活动状态。Grant仅描述在设备间社会关系中可能与其他对等设备共享的资源。这些资源可分为计算资源层、数据层和服务层。计算资源层由社会关系中主机设备的计算资源组成，如键盘、鼠标和存储和文件系统。数据层由主机设备的数据元素组成，如文件、目录、文档和照片。服务层由主机设备的服务组成，如网页和家庭网络服务。

通过定义设备之间的社交关系，预先确定了可能的连接和共享资源。由于社交关系限制了设备间的资源共享，因此可以根据设备的社交关系定义和描述一个包含可共享资源的虚拟设备平台。图3展示了一个设备社交网络的有向图示例，其中可能构成一个虚拟设备平台。

B. 社交设备交互框架概述

社交设备交互框架是一种中间件框架，用于生成和管理设备间社交关系的元数据，并利用这些关系来管理设备交互的过程和生命周期。本文所使用的设备协作的生命周期如图4所示。

社交设备交互框架具有以下功能：
- 设备相遇检测，
- 设备识别、
- 设备社会关系解析、
- 设备连接与交互管理以及
- 从应用程序到可共享资源的通道管理

对于设备协作，设备应能够检测其他对等设备。设备相遇检测基于设备之间的距离。正如人类通过相遇活动感知他人的存在一样，设备在彼此靠近时也可能相互交互。当被检测到有其他设备相遇时，设备应通过交换其ID号码（在社交设备交互框架中为通用唯一标识符UUID）来识别对等设备。接收到ID号码后，设备可检查该对等设备的设备社交性文件，以确定其是否属于自身的设备社交关系成员。如果对等设备是其社交关系中的成员，设备便可提供设备社交性文件中grant所描述的功能和资源。在确认设备间的社交关系后，设备可相互交互，并建立资源共享通道以共享其计算资源。社交设备交互框架中资源通道的管理机制称为soft-bus，即一种软件总线，详见子章节E中的详细描述。

C. 相遇与播放功能介绍

相遇与交互功能是设备间的相遇检测与设备交互自动调用的结合。它可以被视为在无线通信环境中对即插即用（UPnP）设备架构的一种扩展，如图5所示。在UPnP架构中，设备的发现通过在局域网（LAN）内多播发现消息实现，无需考虑设备之间的物理距离。而对于相遇与交互，设备之间的距离是触发设备交互和资源共享的关键因素。本文提出的社交设备交互框架采用基于区域的相遇检测机制进行距离检测，并利用设备社交性文件中的设备社交关系实现设备交互的自动调用。

D. 基于区域的相遇与播放

除了前几小节中描述的设备之间的社交关系外，设备之间的距离关系也被视为另一种类型的社交关系。Atzori等人[21]研究了事物之间的共址对象关系。作为共址对象关系的应用示例，作者提出了数据融合、楼宇自动化、工业自动化以及存储区域内的货物自动识别等应用。然而，他们仅考虑了不同设备处于相同位置的情况，并将共址对象关系用于特定应用程序。在本文中，设备之间的距离被用来检测与对等设备的相遇。此外，在估计到其他对等设备的距离时，设备的邻近区域被划分为邻近区域或可视区域。设备的邻近区域是指到对等设备的距离大约小于1米的区域。可视区域是指到对等设备的距离小于10米且大于1米的区域。图6展示了根据设备之间距离划分的这些概念区域。

对于每个区域，可以应用不同的应用程序或服务。邻近区域约为1米距离，用于非常私人的区域。用户只能在邻近区域内激活非常私人的设备交互，例如共享个人照片或名片。可视区域约为10米距离，用于位于可视范围内的设备，例如在同一房间内。在约10米距离内的设备之间进行的设备到设备（D2D）交互在可视区域内启动，因为许多人类活动发生在办公室或教室等房间内。如果设备位于邻近区域或可视区域之外，则认为这些设备彼此不可见。然而，由于安全问题，用户可以选择不与不可见的设备创建设备交互。因此，所提出的基于距离的设备间社交关系方法可以提供比以往方法更具体的共置对象关系[21]。

接收信号强度指示（RSSI）用于测量社交设备交互框架[22],[23]中设备之间的距离。图7展示了用于设备距离检测和对等设备发现的流程设备ID[13]。通过这些过程，两个设备可以相互识别为对等设备并交换社交关系。随后，这两个设备可以共享其可共享资源。该整体流程与即插即用（UPnP）非常相似，只是在设备相遇检测和设备社交性解析过程上有所不同。

在相遇区域中，使用诸如媒体访问控制（MAC）地址之类的设备令牌来识别进入的设备，因为此类令牌可通过Wi-Fi、蓝牙或Zigbee等无线通信方式被尝试检测设备相遇的设备所获知。通过使所有者设备响应令牌广播，可利用令牌验证该令牌的所有者设备。

一些研究人员指出，由于设备周围存在干扰和反射信号，蓝牙的RSSI不适合用于测量设备之间的距离[24],[25]。如图8所示，即使在测量设备间固定距离时，RSSI值也表现出显著的发散性和波动性。为了减小这种偏差，可以采用低通滤波器，方法如下：

$$
P_n = \alpha R_n + (1 - \alpha) P_{n-1}
$$

其中n为序列索引，$P_n$表示低通滤波器的输出，$R_n$为测得的RSSI值，α为滤波器增益。

距离检测的允许误差取决于所使用的检测应用。对于智能家居应用而言，不需要精确的距离检测。图9展示了同一房间内设备之间的交互。通过测量设备间的RSSI，根据设备是否被判定位于同一房间内来触发设备交互。如图9所示，针对此判定可应用一个RSSI约为-78 dBm的低通滤波器。

E. 软总线架构

当通过设备社会性解析在设备交互期间允许资源共享时，应在设备上的应用程序和资源之间应用信道管理协议。特别是，如果由于多个社交关系导致设备对可共享资源有多个请求，则与其他设备的关系中，该协议应同时向设备社交群组中的多个对等成员授权资源。因此，所采用的优先级机制类似于多任务处理中使用的信号量。当客户端请求设备的资源时，该资源的优先级值会增加。只有当优先级值为零时，客户端才能获得资源。为了通知资源优先级值变为零的时刻，采用了事件通知机制来解决可共享资源请求冲突的问题。

F. 采用即插即用（UPnP）的桥接架构

为了在大量符合DLNA的消费设备中实际应用所提出的SDIF，建议将桥接架构与UPnP AV架构[14]相结合。该桥接架构可通过本文提出的基于区域的相遇与播放和软总线架构进行扩展。SDIF的软总线架构和基于区域的相遇与播放功能可以替代UPnP核心架构中的设备发现机制。由此，符合UPnP的设备能够在无需UPnP兼容性的情况下，通过SDIF实现与其他设备的互操作性。此外，具有UPnP AV架构的设备也可通过SDIF连接，并可通过使用设备社会性的社交关系进行连接。图10展示了所提出的SDIF与UPnP AV架构结合的扩展桥接的分层架构。

III. 设备交互过程的零配置指数

某些类型的网络中间件利用自动配置机制来实现网络连接或设备发现，例如即插即用（UPnP）。为了衡量在无人为干预情况下设备交互的自动配置程度，提出了一种设备交互零配置的分层结构，如图11[13]所示。

对于每一层，根据配置步骤所需的人为干预程度，对零配置分配相应的惩罚值。如果配置步骤需要更多人为干预，则惩罚值更高。例如，触摸型配置步骤分配惩罚值1；菜单型步骤分配惩罚值2；文本框型步骤分配惩罚值3，因为后者需要更高程度的人为干预。

每层的零配置可以通过以下方程描述，包括归一化过程[13]：

$$
Z_i = \sum_{j=1}^{K_i} D_{i,j}, \quad Z_{i,\text{norm}} = \frac{Z_i}{Z_{\text{max},i}}
$$

其中，i表示层索引（i= 1,…,4）；j 是配置步骤索引，其最大值为Ki；Zi 是第ith 层的零配置程度；Zmax,i 是第ith层的最大零配置程度；Di,j 是第jth 配置步骤在第ith 层的惩罚；而Zi,norm 是第ith 层的归一化零配置程度。对于设备间的绝对值，Zmax,i 在每一层对所有设备均设为相同值；对于用于比较两个设备的相对值，Zmax,i 在每一层设为两个设备可能达到的最大值。

设备交互的零配置指数是用于评估设备交互整体零配置程度的各层设备交互的零配置层次度的总和[13]。设备交互的零配置指数可用四元组形式描述如下[13]：

$$
Z_{\text{total}} = (Z_{1,\text{norm}}, Z_{2,\text{norm}}, Z_{3,\text{norm}}, Z_{4,\text{norm}})
$$

IV. 应用

A. 社交设备交互框架在智能家居中的应用示例

提出的SDIF在智能家居中有多种相遇即用机制的应用程序。家庭环境中的两个示例应用程序包括同一房间内的多屏应用以及与附近设备的内容共享应用。

• 同一房间内的多屏应用
  使用RSSI进行设备间距离测量，可轻松判断设备是否位于特定房间内。如果两个设备处于同一房间，显示屏较小的设备的屏幕可以自动显示在显示屏较大的设备上。由于移动设备从室外进入室内意味着用户已从室外进入室内，因此可以触发屏幕共享，自动向用户显示较大设备的屏幕。此类自动共享功能可根据用户活动的历史记录进行学习。

• 内容共享应用与附近设备
  邻近区域可用于将一个设备的内容共享给另一个设备。由于距离较近，可以共享更具个人性的内容，例如受数字版权管理（DRM）限制的图像文件或音乐文件。如图13所示，平板电脑可以向扬声器提供音乐文件。由于两个设备彼此靠近，音乐共享交互的服务质量（QoS）必须令人满意。自动共享可以通过用户的直接反馈或用户满意度的推理机制实现。

B. 与即插即用（UPnP）在文件和屏幕共享应用中的比较

为了验证所提出方法的可行性，将社会设备交互框架（SDIF）应用于一种在智能家居服务中智能设备间最常见的交互类型——文件和屏幕共享应用。该文件和屏幕共享应用在两种不同型号的平板电脑设备和一台电视上实现，如图14所示。在文件共享方面，一台平板电脑设备上运行带有开放TCP套接字端口的文件服务器软件，另一台平板电脑设备上运行客户端软件。在屏幕共享方面，第一台平板电脑设备安装了UPnP媒体服务器软件；此外，所使用的电视符合DLNA标准，具备即插即用（UPnP）媒体渲染器功能。当第二台平板电脑设备检测到与另一台平板电脑设备相遇时，两台平板电脑设备交换其设备社会性的grant部分。根据设备社会性，这两个设备可以相互连接，并调用设备交互以实现文件和屏幕共享。具有UPnP媒体服务器的平板电脑设备采用了桥接架构，可连接采用UPnP AV架构的设备以及采用提出的SDIF的设备。另一台平板电脑设备则装有UPnP控制点软件，该软件在自动文件传输完成后自动启动。通过UPnP控制点，控制从UPnP媒体服务器设备向电视传输媒体内容。

为了与传统的家庭网络协议进行比较，选用了仅配备UPnP AV架构的设备。图15显示了在仅使用UPnP AV架构的情况下，从平板电脑设备到电视的文件和屏幕共享应用所需的人为干预流程。图16显示了当两台平板电脑设备处于邻近区域（即相距1米以内）时，文件和屏幕共享应用的实现情况。在社会性设备交互的情况下，由于通过设备社会性实现了自动配置，因此在设备、资源或服务层均未发生人为干预。表I列出了基于用户界面类型的惩罚值。表II和表III列出了在与UPnP风格进行比较时的零配置指数。文件和屏幕共享与设备社交类型的文件和屏幕共享。每层的零配置最大程度在绝对值上设定为25。由于文件和屏幕应用程序具有两种共享操作，因此通过计算各层零配置程度的平均值得出平均零配置程度。设备社交类型的交互相比较即插即用（UPnP）类型的设备交互具有更高的绝对零配置指数。零配置指数在绝对值上提升了12.5%，在相对值上提升了27.8%。设备交互过程减少了十四个步骤。

表I 零配置度的惩罚值
用户界面类型
文本框
选择（例如，组合框）
手势（例如，触摸、滑动）
无输入

表II 基于UPnP交互框架的文件和屏幕共享服务的零配置指数
层
服务
资源
设备
网络
总计

表III 社交设备交互框架实现文件和屏幕共享服务的零配置指数
层
服务
资源
设备
网络
总计

V. 未来研究的其他问题

在本节中，讨论了社交设备交互框架未来研究的一些其他问题。

首先，社交设备交互框架应确保可共享资源的访问安全。需要一种机制来限制未经许可对设备资源的恶意访问。尽管人类社交网络服务也存在相同的安全问题，但访问控制和认证能力尤为重要，特别是对于社交设备交互而言，因为此类交互是在无人为干预的情况下进行的。

其次，该框架应包含一种用于生成设备协作的社交关系的机制。可以使用类似于在线人类社交网络服务的仪表盘式用户界面来生成此类关系。由于设备之间的社交关系与人类社会关系及设备交互习惯密切相关，因此可以从人类社会关系中自动生成设备关系的机制值得深入研究[12]。

第三，社交设备交互框架应能够处理家庭网络和物联网中的其他主流标准或协议，例如即插即用（UPnP）、DLNA 和 AllJoyn。桥接式方法可能是解决此问题的一种方案，如本文或[14]中所述。

第四，应研究一种用于减小蓝牙RSSI偏差的高级滤波器或启发式算法[25]，以提高距离检测的分辨率。与通常采用固定增益值来检测设备间单一距离目标的滤波器不同，所需的滤波器应能够检测多个距离目标，以识别设备周围的多个区域。

最后，由于使用RSSI进行距离检测时需要连续传输蓝牙信号，导致功耗较高，因此该框架应采用一种新的设备检测机制，以降低使用蓝牙RSSI时的功耗。这一问题对于物联网设备而言可能尤为致命。蓝牙4.0的蓝牙低功耗（BLE）规范可能是解决此问题的一种方案[26]。

VI. 结论

本文提出了一种社交设备交互框架，用于家庭网络环境中智能设备间设备交互的零配置。该框架利用设备之间类人的社交关系提供相遇与交互功能，更适合智能家居服务中的设备协作。所采用的相遇与交互功能考虑了设备之间的距离，从而实现了基于区域的功能，这对智能家居服务非常便捷。此外，社交设备交互框架能够通过软件总线的优先级概念应对多个同时请求可共享资源的动态情况，并可通过桥接架构与符合其他标准的设备协同工作。另外，一个文件和屏幕共享应用的示例表明，所提出的社交设备交互框架可以提高设备交互的零配置指数。与传统设备交互协议（如UPnP AV架构）相比，社交设备交互框架可减少设备交互中的人为干预，为智能家居服务提供便捷的设备协作。此外，该领域未来研究的潜在方向包括从人类社会关系中推导设备间社交关系的方法，以及在最小化人为干预的前提下为智能家居服务中的智能设备分配社交关系。