35、基于多模态特征的分类框架与智能安防视频监控系统

基于多模态特征的分类框架与智能安防视频监控系统

基于多模态特征的分类框架

在医学研究领域，区分轻度认知障碍（MCI）和健康对照（HC）是一个重要的课题。通过收集MCI和HC在DMS任务中的脑电图（EEG）信号，研究不同特征和分类器对区分MCI和HC的效果。

模型训练

为避免数据泄露，将每个受试者视为一个样本，取其多个时期的平均值作为代表该个体的特征。由于数据集相对较小，采用留一法，将一个受试者作为测试集，其余受试者按5折交叉验证法分为训练集和验证集，以选择模型的超参数。最终得到与参与者数量相同的模型，统计正确区分留出受试者标签的模型数量，其与所有模型的比例作为特定分类器的平均准确率。使用了三种不同的分类器：
1. 支持向量机（SVM） ：使用核函数将特征映射到高阶维度，找到最优超平面进行分类。在验证集上使用网格搜索方法，尝试线性核的不同参数C（从10⁻⁴ 到10）以及径向基函数（RBF）核的不同参数C（从10⁻¹ 到100）和σ（从10⁻⁵ 到10⁻¹），找到最佳核函数和相应参数，并在测试集上测试其效果。
2. K近邻（KNN） ：使用闵可夫斯基距离作为距离度量，权重系数选择“距离”以减少样本不平衡问题的影响。在验证集上尝试不同的邻居数量（从1到11），并将最佳值用于测试集。
3. 决策树（DT） ：构建两种决策树，一种使用基尼不纯度作为准则函数，另一种使用香农信息增益。在验证集上使用网格搜索方法选择树的最大深度和最大特征。

评估指标包括准确率（Acc）、灵敏度（Sen）和特异性（Spe），还计算模型在验证集上的平均准确率（Vali Acc），并与测试集上的平均准确率（Test Acc）进行比较，以判断训练模型是否过拟合。

不同特征在单通道上的效果

不同频段的功率谱密度（PSD）和功率谱密度熵（PSDE）特征的性能如表2所示：
| 提取方法 | δ（%） | θ（%） | α（%） | β（%） | 全频段（%） |
| — | — | — | — | — | — |
| PSD | 66.26 | 62.71 | 67.80 | 66.67 | 66.26 |
| PSDE | 66.10 | 69.49 | 71.18 | 64.40 | 66.10 |

整体分类准确率不太理想，使用多个频段的特征有时不一定比单频段好，θ和α频段表现较好。PSDE特征整体性能优于PSD特征，可能是因为PSDE特征包含了不同时间段任务的频率信息，即提供了部分时间信息。但使用全频段的PSDE特征性能显著下降，说明过多不重要的特征会干扰模型，需要简化特征。

事件相关电位（ERP）特征的性能如表3所示：
| 特征 | 通道 | 验证集准确率（%） | 测试集准确率（%） | 灵敏度（%） | 特异性（%） |
| — | — | — | — | — | — |
| ERP（电压） | F7 | 64.14 | 71.18 | 75.00 | 66.67 |
| ERP（潜伏期） | Fz | 74.39 | 74.57 | 71.88 | 77.78 |
| ERP（全部） | F3 | 72.81 | 71.18 | 75.00 | 66.67 |

ERP潜伏期特征表现优于电压特征，可能是因为个体差异对电压的影响大于认知障碍，而潜伏期能更好地反映参与者的认知和执行状态。但同时使用电压和潜伏期特征时性能下降，说明存在特征冗余现象，更多特征不一定能提高效果。与PSDE特征相比，ERP特征表现更好，表明时间信息对区分MCI具有更大的意义。

使用多通道的效果

设置了几个左右脑对称、主要集中在额叶和顶叶的通道集，计算多通道的准确率，结果如表4所示：
| 特征 | 通道 | 验证集准确率（%） | 测试集准确率（%） | 灵敏度（%） | 特异性（%） |
| — | — | — | — | — | — |
| PSD | Cz - P3 - P4 | 66.15 | 62.71 | 62.50 | 62.96 |
| PSDE | Fz - C3 - C4 | 63.61 | 61.02 | 71.88 | 77.78 |
| ERP | F3 - C3 - Fz - Cz - F4 - C4 | 72.22 | 74.57 | 75.00 | 74.07 |

ERP在多通道情况下的性能优于单通道，准确率提高到74.57%。表现良好的通道主要集中在额叶和顶叶。但频域特征在多通道情况下表现不佳，有时甚至比单通道更差，可能是因为分类器是简单模型，无法有效消除无用通道信息的影响，尤其是PSDE特征每个通道提取20个特征时表现更差。

多特征和多通道的特征级融合

将不同的EEG特征以及其他特征（如PF和BF）在特征级进行融合，结果如表5所示：
| 特征 | ERP通道 | PSD通道 | 验证集准确率（%） | 测试集准确率（%） |
| — | — | — | — | — |
| ERP + BF | C3 | - | 73.93 | 72.88 |
| ERP + PF | F3 | - | 72.22 | 74.58 |
| PSDE + BF | - | Fp2 | 68.92 | 71.18 |
| PSDE + PF | - | C3 | 68.31 | 72.88 |
| ERP + PSD | Fz | Fz | 76.04 | 76.27 |
| ERP + PSDE | F3, F4, Cz, Fp1, Fp2 | Fp1, Fp2 | 78.20 | 81.35 |
| ERP + PSDE + PF | Fp1 | C4 | 85.44 | 84.74 |
| ERP + PSDE + PF + BF | Fz | F3, F4, Cz, F1, Fp2 | 78.20 | 76.27 |

表现良好的通道集中在额叶和顶叶，各种特征的融合可以提高分类准确率。其中，ERP特征加PF的准确率提高到74.58%，但ERP特征加BF的改善不明显，PSDE特征也有类似现象，说明BF对ERP和PSDE特征的互补性不如PF。ERP特征加PSDE特征的准确率大幅提高到81.35%，可能是因为ERP特征中没有频率信息，而PSDE特征提供了频率信息，同时包含时域和频域信息可以大大提高性能。有趣的是，仅使用单个通道（Fz）的准确率仍可达到76.27%，与使用多个通道的准确率相差不大，这可能是因为Fz位于大脑中心，能全面反映大脑的整体状况，在实际应用中具有重要意义，可以通过测量大脑的一个通道的EEG信号来诊断痴呆，减少测量过程中的许多问题并大大降低测量成本。

模型性能评估

不同分类器使用不同特征的准确率如图4所示，不同分类器使用相同特征的准确率差异不大，SVM总体性能较好。不同特征对分类结果影响较大，使用更多特征可以提高准确率，尤其是同时使用ERP和PSDE特征后，改善明显。

从表3、4和5可以看出，验证集的准确率与测试集的准确率差异不大，说明模型没有过拟合，但在某些情况下，验证集的准确率低于测试集的准确率。这表明在训练过程中，超参数只需在一定范围内即可，因为验证集和测试集数据本身的分布不同，在测试集中最优的超参数不一定适用于测试集。因此，提取能够反映MCI和HC差异的特征更为重要。通过比较不同特征在验证集和测试集上的准确率差异，发现包含ERP特征的验证集准确率大多略高于或非常接近测试集准确率，仅包含频域特征的模型在验证集上的准确率往往低于测试集，这也表明ERP在区分MCI方面比PSD更稳定，受个体差异的影响更小。

基于表5的结果，选择Fp1通道的ERP特征、C4通道的PSDE特征以及PF特征，探索不同超参数值对SVM分类器的影响，结果如图5所示。随着C值的增加，模型的准确率先上升到约77.97%，然后下降，当C约为0.002时获得最高准确率。最佳模型的C值较小，说明模型对误差有更大的容忍度，具有良好的泛化性能。使用RBF核的准确率高于线性核，可达到最高准确率84.74%，但RBF核的最优超参数是相对较大的C和较小的γ。当C值超过10时，随着C值的增加，模型逐渐过拟合，准确率下降。较小的γ值可以确保模型具有更好的鲁棒性。由于EEG信号的个体差异较大，超参数的选择往往会牺牲一些准确率以防止模型过拟合。

基于GCN的智能安防视频监控系统

在社会安全领域，犯罪率高、破案率低和警力不足等问题促使了各种解决方案的出现。智能安防视频监控系统成为解决这些问题的一种有效手段。

系统概述

提出了一个旨在全面分析人类行为的框架，当检测到异常行为时，用户可以通过短信接收警报，并且系统会将异常行为记录在数据库中，以便后续查看和搜索。该框架集成了人体骨骼识别、人类行为识别和数据增强等先进技术。

社会背景

根据中国统计年鉴的统计数据，2013 - 2019年公安机关立案的盗窃刑事案件在所有刑事案件中的比例分别为68.30%、67.83%、67.96%、66.97%、63.10%、54.97%和46.44%，占总刑事案件的62%以上，是所有刑事案件中数量最多、最具代表性的财产侵犯案件。

这个智能安防视频监控系统具有很大的应用前景，有望提高家庭安全监控的生活水平，为社会安全做出贡献。同时，基于多模态特征的分类框架在医学领域为区分MCI和HC提供了有效的方法，具有重要的临床应用价值。

基于多模态特征的分类框架与智能安防视频监控系统

智能安防视频监控系统的技术细节与优势

系统技术集成

该智能安防视频监控系统集成了多种先进技术，其工作流程如下：
1. 人体骨骼识别 ：通过摄像头捕捉人体的运动信息，利用先进的算法识别出人体的骨骼结构和关键点。这一步骤为后续的行为分析提供了基础数据。
2. 人类行为识别 ：基于识别出的人体骨骼信息，系统能够分析出人类的各种行为动作。例如，区分正常的行走、站立和异常的奔跑、攀爬等行为。
3. 数据增强 ：为了提高系统的准确性和鲁棒性，采用数据增强技术对采集到的数据进行处理。通过对图像进行旋转、缩放、翻转等操作，增加数据的多样性，从而使模型能够更好地适应各种不同的场景。

下面是一个简单的mermaid流程图，展示了系统的主要工作流程：

graph LR
    A[摄像头采集视频] --> B[人体骨骼识别]
    B --> C[人类行为识别]
    C --> D{是否异常行为}
    D -- 是 --> E[发送短信警报]
    D -- 否 --> F[继续监控]
    E --> G[记录异常行为到数据库]

系统优势

该系统具有以下显著优势：
1. 实时警报 ：当检测到异常行为时，系统能够立即通过短信向用户发送警报，让用户及时了解家中的情况。
2. 数据记录与查询 ：系统将异常行为记录在数据库中，用户可以随时查询历史记录，了解异常行为的发生时间、地点和具体情况。
3. 全面分析 ：通过集成多种技术，系统能够对人类行为进行全面分析，提高了异常行为检测的准确性和可靠性。

两个系统的综合价值与应用前景

综合价值

基于多模态特征的分类框架和基于GCN的智能安防视频监控系统虽然应用于不同的领域，但都具有重要的价值。在医学领域，多模态特征分类框架为区分轻度认知障碍和健康对照提供了有效的方法，有助于早期诊断和治疗。在社会安全领域，智能安防视频监控系统能够实时监测异常行为，提高家庭和公共场所的安全性。

应用前景

1. 医学领域 ：随着人口老龄化的加剧，轻度认知障碍的发病率逐渐上升。基于多模态特征的分类框架有望在临床诊断中得到广泛应用，为医生提供更准确的诊断依据。
2. 社会安全领域 ：智能安防视频监控系统可以应用于家庭、商场、学校等各种场所，为人们的生活和工作提供更加安全的环境。同时，随着技术的不断发展，系统的性能和功能也将不断提升，具有广阔的市场前景。

总结

本文介绍了基于多模态特征的分类框架和基于GCN的智能安防视频监控系统。在医学领域，通过对脑电图信号的分析，利用不同的特征和分类器，能够有效地区分轻度认知障碍和健康对照。在社会安全领域，智能安防视频监控系统集成了多种先进技术，能够实时监测异常行为，为人们提供安全保障。这两个系统都具有重要的应用价值和广阔的发展前景，有望在各自的领域发挥重要作用。

以下是对两个系统的关键信息总结表格：
| 系统名称 | 应用领域 | 主要技术 | 优势 |
| — | — | — | — |
| 基于多模态特征的分类框架 | 医学 | 脑电图信号分析、多种特征提取、分类器训练 | 有效区分MCI和HC，提高诊断准确性 |
| 基于GCN的智能安防视频监控系统 | 社会安全 | 人体骨骼识别、人类行为识别、数据增强 | 实时警报、数据记录、全面分析 |

未来，随着技术的不断进步和创新，这两个系统有望进一步完善和发展，为人类的健康和安全做出更大的贡献。