61、利用深度学习从截图分析追踪数字设备使用情况

利用深度学习从截图分析追踪数字设备使用情况

在当今数字化时代，如何有效监控数字设备的使用情况成为了一个重要的问题，尤其是对于家长监控未成年孩子的上网行为。下面将详细介绍通过深度学习从截图分析来追踪数字设备使用情况的相关内容。

相关工作

在分析计算机用户活动方面，已有多种方法。一些专业软件可用于监控用户，其主要目的是追踪生产力和用户在计算机上花费的时间。但这些软件存在一些问题，如无法区分学生使用社交媒体是用于学习还是娱乐，不能检测屏幕上的成人内容，且通常需要付费使用。

此外，还有一些相关研究方法：
- Imler和Eichelberger的方法 ：他们提出使用八种屏幕录制设置来记录用户屏幕，以追踪用户活动和行为。采用Snapz Pro屏幕捕获技术，可由用户或监控者手动启动屏幕录制软件。录制完成后，监控者需手动分析整个视频。
- Krieter和Breiter的方法 ：利用计算机视觉和机器学习方法，通过自动分析屏幕录制来创建基于事件的日志文件。其检测方法按顺序逐帧操作，减少计算量。算法通过OCR查找文本、模板匹配查找图像、感知哈希函数查找固定区域，并为每次交互生成日志文件。
- Malisa等人的方法 ：使用小型混淆工具提取特征，以识别对用户体验无明显影响的帧。采用感知哈希算法提供图像的紧凑表示，并利用动态代码分析从移动应用的截图中提取用户界面，以检测假冒行为。通过哈希值分析图像，并使用局部敏感哈希（LSH）来分析大量截图。

数据集

为帮助家长监控未成年孩子，需要确定用户在屏幕上运行的应用类型。通过Python的 pyscreenshot 库函数创建了一个数据集，收集了五类常用网络应用的截图：
- 教育类：Coursera、Classroom、编程、YouTube
- 娱乐类：YouTube

每个类别包含800张截图，所有图像均为1080×1920像素密度的jpg格式。还应用了数据增强技术，包括缩放、剪切、缩放和水平翻转，数据增强后数据集约有16000张截图。

提出的系统

提出的系统分两步识别用户活动：
1. 从操作系统收集使用的应用信息，记录每个应用的使用时长，以确定应用的使用情况。
2. 捕获整个屏幕的截图，并借助深度学习模型分析截图，以追踪活动类型。

实验中使用了三种卷积神经网络（CNN）模型来评估系统性能：预训练的VGG - 16、残差网络（ResNet - 50）和Inception V3。
- VGG - 16 ：在ImageNet数据集上测试准确率达92.7%，是性能出色但计算量较大的迁移学习模型。
- ResNet - 50 ：利用跳跃连接的优势，可处理更深的网络。通过ImageNet数据集的迁移学习，减少了训练时的计算时间，整体训练、测试和预测时间相对VGG - 16较短。
- Inception V3 ：权重较小，错误率低于VGG - 16和ResNet - 50。

训练模型的最后一层以获得优化结果，最后一层使用一个扁平化层和三个密集层，并使用‘Adam’优化器。系统使用Python模块从操作系统收集应用信息，然后使用数据集训练模型，将截图分为五类。训练后的模型经过验证并保存，用于测试随机输入，模型使用基于Python的Keras神经网络库实现。

结果与讨论

为评估模型对截图进行五类分类的性能，使用90%的数据进行训练，10%的数据进行验证，并收集了每个类别的100张随机截图，共500张用于测试。
| 模型 | 训练准确率 | 验证准确率 | 测试准确率 | F1 - 分数 |
| ---- | ---- | ---- | ---- | ---- |
| VGG - 16 | 100% | 93.8% | 94% | 98% |
| ResNet - 50 | 100% | 95.4% | 95% | 96% |
| Inception V3 | 100% | 95.4% | 82% | 83% |

从测试结果来看，VGG - 16和ResNet - 50在随机收集的测试数据上表现相当。混淆矩阵显示，Inception V3在区分YouTube娱乐和教育类别以及教育Google Classroom和教育编程类别时存在困难，而ResNet - 50和VGG - 16在区分类别方面表现更好。

然而，实验也存在一些挑战，例如区分YouTube的使用活动较为困难。由于YouTube既可以用于教育也可以用于娱乐，在训练样本中，教育类YouTube大多是基于文本的内容，娱乐类YouTube大多是基于图像的内容。因此，在测试时，如果教育类YouTube包含基于图像的内容，可能会被分类为娱乐类。

下面是系统工作流程的mermaid流程图：

graph LR
    A[收集应用信息] --> B[记录应用使用时长]
    C[捕获屏幕截图] --> D[深度学习模型分析截图]
    B --> E[确定应用使用情况]
    D --> F[追踪活动类型]
    E & F --> G[模型训练]
    G --> H[模型验证]
    H --> I[保存模型]
    I --> J[测试随机输入]

综上所述，通过深度学习从截图分析来追踪数字设备使用情况是一种可行的方法，VGG - 16模型在实验中表现最佳。但仍需进一步优化，以应对实际应用中的各种挑战。

利用深度学习从截图分析追踪数字设备使用情况

多跳无线移动自组织网络单播路由协议模拟分析

移动自组织网络（MANETs）由于无线手持设备在个人和专业生活中的广泛使用，有潜力成为应用最广泛的无线网络之一。其应用领域广泛，从会议室到灾区都有涉及。

然而，MANETs中节点的移动性导致网络拓扑动态变化，使得数据包路由成为一项具有挑战性的任务。尽管已有多种路由协议被提出，但本文选取了四种著名的单播路由协议进行研究，以评估它们在MANETs动态环境中的适用性。

多跳无线移动自组织网络路由协议

基于路由发现和维护策略，MANETs的路由协议可分为主动式和被动式两类：
- 主动式路由协议 ：每个节点提前在路由表中维护到网络中所有其他节点的路由。优点是数据传输启动时无延迟，但维护最新可能的路由会大量消耗网络资源。
- 被动式路由协议 ：仅在需要时（由源节点）发现到目标节点的路由。按需特性有效利用网络资源，但会在数据传输中引入延迟。

用于模拟的主要单播路由协议

本次模拟选取了四种协议，其中主动式协议包括目的序列号距离向量（DSDV）和优化链路状态路由（OLSR），被动式协议包括动态源路由（DSR）和自组织按需距离向量（AODV）。以下是这些协议的主要特点：
- DSDV ：基于距离向量路由协议的分布式路由协议，通过插入目的序列号克服了距离向量路由的局限性。它是一种简单的主动式路由协议，每个节点以路由表形式维护路由。相邻节点定期交换路由信息以更新网络视图。若未收到定期更新，表明网络拓扑发生变化，上游节点会采取必要措施修复路由中断。
- OLSR ：基于链路状态路由，并进行了多项优化以支持移动自组织环境。这是一种相对复杂的主动式逐跳路由协议，可提前提供路由。网络中的每个节点都了解整个网络拓扑。部分节点作为多点中继（MPRs），只有MPRs会将数据包转发到更远的节点，有助于减少网络中的路由开销。
- DSR ：源节点在发送数据包时携带完整的路由信息。当源节点需要发送数据时，它会发现到目标节点的路由，并将路由信息包含在数据包中。这种方式减少了路由发现的延迟，但会增加数据包的大小。
- AODV ：按需发现和维护路由的协议。当源节点需要发送数据时，它会发起路由发现过程，通过广播路由请求消息来寻找路径。一旦找到路径，就会建立路由并开始数据传输。在数据传输过程中，如果链路或节点发生故障，会重新发起路由发现。

性能评估指标

为评估这些路由协议的性能，使用了以下网络性能指标：
| 指标 | 说明 |
| ---- | ---- |
| 数据包交付率（PDR） | 成功交付到目标节点的数据包数量与发送的数据包总数的比率。 |
| 平均端到端延迟 | 数据包从源节点到目标节点的平均传输时间。 |
| 平均抖动 | 数据包延迟的变化程度。 |
| 吞吐量 | 单位时间内成功传输的数据量。 |
| 归一化路由负载 | 路由协议产生的控制数据包数量与数据数据包数量的比率。 |

模拟环境和结果分析

在不同的节点移动性和恒定比特率（CBR）流量负载下，对这些路由协议进行了模拟。结果表明，不同协议在不同场景下表现各异：
- 在节点移动性较低的情况下，主动式路由协议（DSDV和OLSR）由于提前维护路由，数据包交付率较高，延迟较低。
- 在节点移动性较高的情况下，被动式路由协议（DSR和AODV）能够更灵活地适应网络拓扑的变化，减少路由开销。

以下是不同协议在不同指标下的性能对比mermaid流程图：

graph LR
    A[节点移动性低] --> B[DSDV和OLSR：高PDR，低延迟]
    A --> C[DSR和AODV：相对高开销]
    D[节点移动性高] --> E[DSR和AODV：灵活适应，低开销]
    D --> F[DSDV和OLSR：高路由开销]

总结与展望

通过对四种单播路由协议的模拟分析，我们了解了它们在MANETs动态环境中的性能特点。在实际应用中，需要根据具体的网络场景和需求选择合适的路由协议。

未来，可以进一步研究如何结合不同路由协议的优点，开发更高效的混合路由协议。同时，收集更多不同用户的多样化数据，以提高模型在现实世界中的性能，并开发面向终端用户的应用程序，为用户提供更便捷的网络监控和管理工具。