qjworkman的博客

核心步骤回顾数据准备：提取多视角同步帧，标注每帧对应的关节角度（硬件采集最优）；模型构建：基于 ViT 构建多视角特征提取 + Transformer 融合 + 回归头的端到端模型；训练调优：用 MSE 损失训练，冻结 ViT 底层减少过拟合，通过验证集 Loss 调优；部署推理：加载最优模型，批量推理视频帧的关节角度，可选轻量化部署提升速度。关键注意事项标注数据量是精度的核心保障，建议至少 5000 + 帧标注；多视角融合是提升精度的关键，单视角 ViT 精度远低于多视角；