63、计算机视觉在虚拟画板与青少年抑郁症治疗中的应用探索

计算机视觉在虚拟画板与青少年抑郁症治疗中的应用探索

虚拟画板技术：基于计算机视觉的创新方案

在虚拟绘画领域，传统的空气画布应用通过训练大量手部照片来确定张开手指的位置，但这种方法存在一些问题。由于背景或肤色的差异，该过程偶尔会产生错误预测，并且需要存储大量数据。部分已发表的研究使用阈值和图像数据库数据进行图像处理。

为了克服这些限制，我们提出了一种利用MediaPipe的技术。该系统首先通过MediaPipe识别手部地标，然后根据这些地标确定位置，以此来跟踪手部和手势。

• OpenCV ：这是一个专门用于解决计算机视觉问题的Python包，支持多种编程语言（如C++、Python、Java等）和操作系统（如Windows、Linux、MacOS）。使用它可以从相机捕获视频，并构建网络摄像头视频捕获组件，方便记录和修改视频。
• MediaPipe ：这是一个免费、开源的跨平台框架，用于创建多种模态感知数据（包括音频和视频）的处理管道。Google的MediaPipe架构为手部运动和手势的检测与跟踪提供了最有效的方法。我们使用BlazePalm单镜头检测器模型来寻找初始手部位置，该方法利用机器学习从每一帧中识别手部的21个关键点，实现高精度的手部和手指跟踪。在完成整个图像的手掌识别后，后续的手部地标模型使用回归方法精确确定识别出的手部区域内的21个2.5维位置。

虚拟绘画的手部识别系统具有一定优势，它可以在黑暗中运行，不受签名者肤色、服装和环境照明的影响，并且易于适应新应用，对背景杂乱具有抗性。与早期应用相比，该方法表现更优，只需进行微小调整