17、少样本学习在手语识别中的应用

少样本学习在手语识别中的应用

1. 数据集介绍

为了让模型能够准确识别不同的手语，需要有合适的数据集来代表已见和未见的手语类别，捕捉不同手语的多样性和变化。

1.1 已见类别数据集

已见类别数据集 BdSL 代表孟加拉语手语。它是一个大型的单手孟加拉语手语字母数据集，包含 35,149 张图像。该数据集有 37 种不同的孟加拉语手语符号类别，每个类别有 950 - 1000 张图像。图像具有多样的背景、广泛的光照对比度、手的大小、图像比例和手部肤色。这些图像是从 350 多个受试者和不同角度拍摄的，图像大小为 64 × 64 像素。由于该数据集的多样性，它被选作训练少样本学习模型的有标签支持样本的主要来源。

1.2 未见类别数据集

未见类别数据集 UdSL 包含六种不同的手语，如美国手语（ASL）、阿拉伯手语（ArSL）、巴西手语（BrSL）、印度手语（ISL）、巴基斯坦手语（PSL）和印度尼西亚手语（InSL）。这些数据集包含全新的手语图像和在已见类别数据集中不存在的新类别，代表了少样本学习模型旨在利用从 BdSL 数据集获得的知识来识别的目标手语。各数据集的详细信息如下表所示：
| 数据集 | 总图像数量 | 图像大小 | 背景 | 颜色 | 总类别数 |
| — | — | — | — | — | — |
| ASL | 34627 | 28 × 28 | 均匀 | 灰度 | 24 |
| ArSL | 5832 | 416 × 416 | 多样 | RGB | 29 |
| BrSL | 4411 | 200 × 200 | 均匀 | RGB | 15 |
| IS