85、基于3D手部形状和面部特征的识别技术研究

基于3D手部形状和面部特征的识别技术研究

3D手部形状助力以自我为中心的物体识别

在物体识别领域，利用3D手部形状特征进行以自我为中心的物体识别是一项颇具创新性的研究。研究中采用了不同的特征和核函数进行实验，以下是具体的实验结果：
| 特征组合 | 直方图相交核准确率 | 卡方核准确率 |
| ---- | ---- | ---- |
| SIFT | 85.07% | 82.81% |
| HONV | 34.39% | 35.75% |
| SIFT + HONV | 89.14% | 87.33% |

从这些结果可以清晰地看出，手部的额外3D特征极大地提高了物体分类的准确性。使用直方图相交核和卡方核使8个类别中的7个类别准确率得到了提升。然而，实验结果也表明，后期融合并没有改善分类结果。

在实际的实验场景中，我们可以看到一些有趣的现象。当仅使用从视频帧中提取的SIFT特征时，会出现许多误分类的情况。例如：
- 一些原本被误分类为闪存盘、订书机、杯子等的帧，在加入3D手部特征后得到了正确分类。
- 有两个闪存盘的帧，由于手部遮挡，仅使用SIFT特征无法准确分类，但结合3D手部形状特征后成功识别。
- 一帧看起来像iPhone的订书机，因人们握持iPhone和订书机的手势完全不同，考虑手部的3D特征后也被正确识别。

不过，并非所有情况加入3D手部特征都能带来积极效果。由于并非所有用户都使用通用的手势来抓取物体，导致一些原本分类正确的帧，在加入3D手部特征后被分配了错误的标签。

下面是该物体识别过程的mermaid流程图：