47、基于手势分析和视觉焦点估计的自闭症早期筛查方法

基于手势分析和视觉焦点估计的自闭症早期筛查方法

1. 基于手势分析的自闭症早期筛查

1.1 方法概述

该方法主要由三个阶段组成：手部检测、手势识别和分类。整体框架清晰，旨在通过对儿童手部手势的检测与识别，实现对自闭症（ASD）、学习障碍（LD）和智力障碍（MR）患者的分类。

1.2 手部检测

手部检测可视为目标检测任务，目标检测算法主要分为两类：
- 两阶段目标检测：先生成候选区域作为样本，再通过卷积神经网络进行分类。这类方法检测精度高，但速度慢且训练耗时。
- 一阶段目标检测：以YOLO算法为代表，检测速度快。选择YOLOv5的预训练版本YOLOv5s进行手部检测，因其训练速度和检测精度都有显著提升。
操作步骤如下：
1. 原始图像包含医生和儿童，为排除干扰分类结果的因素，使用YOLOv5检测并裁剪出儿童的手部。
2. 手动标记儿童手部区域，对YOLOv5进行微调。
3. 将数据集的所有图像输入微调后的模型进行手部检测。

1.3 手势识别与分类

选用ResNet50作为骨干网络来识别不同的手部手势，原因是它能在减少网络参数的同时提升网络性能。具体操作步骤如下：
1. 由于获取的手部图像大小可能不同，将每张图像调整为224×224，这是主流网络采用的图像输入尺寸。
2. 将调整大小后的手部图像输入ResNet50提取手势特征。
3. 将提取的特征通过全连接层和softmax层进行分类。

1.4 实验与结果

1.4.1 数据集

数据采集平台由医生和儿童在特