1. 项目缘起:为什么选择YOLOv11做舞蹈姿态分析?
最近有个朋友找到我,说他们舞蹈工作室想做一个智能教学辅助系统,核心需求就是从学员的练习视频里,自动分析动作是否标准。他们试过一些开源方案,要么速度太慢,一帧一帧卡得不行;要么精度不够,学员稍微侧身或者有遮挡,关键点就乱飞。聊下来,我觉得这个需求特别适合用最新的YOLOv11姿态估计模型来试试水。
你可能听说过YOLO系列,从v5到v8,再到现在的v11,它在目标检测领域一直是“又快又准”的代名词。而YOLOv11的pose版本(比如yolov11n-pose.pt),就是把这种优势延伸到了人体姿态估计上。它不像一些传统的自顶向下方法,需要先检测人,再单独估计每个人的姿态,那样流程长,速度自然慢。YOLOv11-pose是端到端的,一张图进去,直接输出每个人体的边界框和17个关键点坐标,效率非常高。
我拿到了一段典型的国标舞练习视频,名字叫“方形步加四分之一点转.avi”。这种舞蹈动作连贯,身体扭转幅度大,正好能考验模型在复杂姿态下的稳定性。我们的目标很明确:第一,用模型跑通整个视频,把每一帧里舞者的关节点(比如鼻子、肩膀、手肘、膝盖)坐标都提出来;第二,为了直观检查效果,得在视频上把这些点连成骨架,重新生成一个带骨架动画的新视频;第三,也是最关键的一步,把这些坐标数据归一化处理,然后整整齐齐地存进Excel表格里,方便后续做数据分析或者导入到其他系统里。
听起来是不是挺有意思的?整个过程就像一条流水线:视频流进来,经过YOLOv11这个“智能工人”的识别和标注,最后产出一份干净的结构化数据。下面,我就带你一步步把这套流水线搭起来,我会把我在配置环境、调试参数、处理数据时踩过的坑和总结的经验都分享给你,保证你跟着做就能复现。
2. 环境搭建与模型准备:五分钟搞定基础配置
工欲善其事,必先利其器。咱们的第一步就是把开发环境搭好。我这里强烈推荐使用Anaconda来创建独立的Python环境,避免和你电脑上已有的其他项目包版本冲突。打开你的终端(Windows用Anaconda Prompt,Mac/Linux用终端),依次执行下面几条命令:
# 创建一个名为 yolo11-pose 的新环境,指定Python版本为3.9(兼容性好)
conda create -n yolo11-pose python=3.9 -y
# 激活这个环境
conda activate yolo11-pose
环境激活后,我们开始安装核心的库。最核心的就是Ultralytics公司官方维护的ultralytics库,它封装了YOLOv11的模型加载、推理和结果处理接口,用起来非常方便。另外,OpenCV(opencv-python)用来处理视频读写和图像绘制,Pandas用来处理数据并导出Excel,NumPy则是数值计算的基础。一条命令就能搞定:
pip install ultralytics opencv-python pandas numpy
通常这样安装就够了。但如果你在后续画骨架图或者保存视频时遇到编码问题,可以尝试额外安装 opencv-contrib-python。安装完成后,可以在Python里简单导入一下,确认没有报错。
接下来是模型准备。YOLOv11提供了不同大小的pose模型,从轻量级的 n(nano)、s(small),到精度更高的 m、l、x。对于视频流处理,我们首先要保证速度,所以 yolov11n-pose.pt 这个纳米模型是首选。它有将近70万的参数量,在普通消费级显卡甚至CPU上都能跑出实时效果。
获取模型有两种方式。第一种是最简单的,代码里不用预先下载,Ultralytics库会在你第一次加载模型时自动从云端下载到本地缓存。但考虑到网络环境,我更喜欢第二种方式:预先下载好。你可以去Ultralytics的官方GitHub仓库或者其模型发布页面,找到这个pt文件直接下载。下载后,在项目目录里新建一个叫 weights 的文件夹,把它放进去。这样代码里直接指向这个本地路径,万无一失。
我这里假设你的项目目录结构是这样的,非常清晰:
your_project_folder/
├── weights/
│ └── yolov11n-pose.pt
├── video/
│ └── 方形步加四分之一点转.avi
├── pose_estimation_pipeline.py (我们的主脚本)
└── runs/ (用于存放输出结果)
3. 核心代码逐行解析:从视频读取到骨架绘制
环境好了,模型也有了,现在我们来啃最核心的代码部分。我会把整个脚本拆开揉碎了讲,你不用担心,哪怕你之前没怎么用过OpenCV或者YOLO,也能看懂。
首先是把必要的工具包都引进来:
import cv2
import os
from ultralytics import YOLO
import numpy as np
import pandas as pd
接下来是初始化模型和视频流。注意把模型路径和视频路径替换成你自己的实际位置。
# 加载模型,指定本地路径更稳妥
model_path = “weights/yolov11n-pose.pt”
model = YOLO(model_path)
# 打开视频文件
video_path = “video/方形步加四分之一点转.avi”
cap = cv2.VideoCapture(video_path)
assert cap.isOpened(), “Error reading video file” # 加个断言,视频打不开就报错
这里有个小技巧,用 assert 语句可以确保视频文件没问题,避免程序跑到一半才发现路径错误。然后,我们获取视频的一些基本信息,比如帧的宽高和每秒帧数(FPS),这些信息对于后续归一化坐标和保存新视频至关重要。
frame_width = int(cap.get(cv2.CAP_PROP_FRAME_WIDTH))
frame_height = int(cap.get(cv2.CAP_PROP_FRAME_HEIGHT))
fps = int(cap.get(cv2.CAP_PROP_FPS))
然后我们设置一个视频写入器(VideoWriter),用来把处理后的、画了骨架的帧保存成一个新视频。编码器我用的 ‘mp4v’,通用性比较好。输出路径我习惯放在 runs 文件夹下,和原始视频同名,这样好找。
out_path = “./runs/” + os.path.splitext(os.path.basename(video_path))[0] + “_skeleton.avi”
video_writer = cv2.VideoWriter(out_path, cv2.VideoWriter_fourcc(*“mp4v”), fps, (frame_width, frame_height))
准备工作做完,进入主循环——一帧一帧地处理视频。
keypoints_list = [] # 用来存所有帧的关键点数据
frame_index = 0
while cap.isOpened():
success, frame = cap.read()
if not success: # 读到视频末尾就跳出循环
break
# 核心推理:YOLOv11姿态估计
results = model.predict(source=frame, save=False, save_txt=False, save_crop=False, save_conf=False)
model.predict 这一行就是调用YOLOv11进行推理。参数里我把几个 save 选项都设为 False,是因为我们不希望它自动保存图片或标签,所有结果我们都要自己处理,这样更灵活。results 对象里包含了检测到的所有信息。
接下来是最关键的数据提取和可视化部分。我们需要遍历每一帧的检测结果:
for result in results:
if hasattr(result, ‘keypoints’): # 确认有关键点属性
keypoints = result.keypoints.data.cpu().numpy() # 转到CPU并转为numpy数组
这里 keypoints.data 是一个PyTorch张量,我们把它转到CPU上再转换成NumPy数组,方便后续用OpenCV处理。它的形状通常是 (人数, 17, 3),17代表COCO数据集的17个关键点,3代表每个点的 (x坐标, y坐标, 置信度)。
然后我们遍历检测到的每一个人:
for kpt in keypoints: # kpt 是一个人的17个关键点数据
frame_keypoints = [] # 存当前帧当前人的归一化后关键点
for x, y, conf in kpt:
if conf > 0.5: # 置信度过滤,只保留可信的点
# 坐标归一化:除以图像宽高,缩放到[0,1]范围
x_norm = x / frame_width
y_norm = y / frame_height
frame_keypoints.append((x_norm, y_norm, conf))
# 在图像上画点
cv2.circle(frame, (int(x), int(y)), 5, (0, 255, 0), -1)
置信度过滤这个操作很重要。模型不是神,有些点可能预测得很模糊(比如被手挡住的胯部),置信度很低。如果把这些点也画上去或存下来,会引入很多噪声。我实测下来,阈值设为0.5是个不错的平衡点,既能过滤掉大部分不可信的点,又不会丢失太多有效信息。
画完点,就该连线成骨架了。这需要我们知道关键点之间的连接关系。YOLOv11使用的COCO关键点格式,其骨架连接顺序是定义好的。下面这个skeleton列表,每一对数字就代表需要连接的两个关键点的索引。
# 绘制骨架连接
skeleton = [
[0, 1], [0, 2], [1, 3], [2, 4], # 鼻子-左眼-右眼-左耳-右耳
[6, 5], [6, 8], [8, 10], [5, 7], [7, 9], # 左肩-右肩-右肩-右肘-右手腕,左肩-左肘-左手腕
[6, 12], [12, 14], [14, 16], # 右肩-右髋-右膝-右脚踝
[5, 11], [11, 13], [13, 15], # 左肩-左髋-左膝-左脚踝
[11, 12] # 连接左右髋部,形成躯干
]
for (p1, p2) in skeleton:
x1, y1, c1 = kpt[p1]
x2, y2, c2 = kpt[p2]
if c1 > 0.5 and c2 > 0.5: # 两点都可信才画线
cv2.line(frame, (int(x1), int(y1)), (int(x2), int(y2)), (255, 0, 0), 2)
这里我又加了一次置信度判断,只有线两端的点都可靠,这条骨架线才画上去。不然可能会出现从可信的肩膀连到一个位置错误的髋部,画出很奇怪的线,影响观感。
处理完一帧后,我们把这一帧里所有人的关键点数据(已经是归一化后的)保存起来,同时把画好骨架的帧写入新视频,并显示出来。
# 保存当前人当前帧的关键点数据
keypoints_list.append({“frame”: frame_index, “keypoints”: frame_keypoints})
# 显示和保存
cv2.imshow(“Pose Estimation”, frame)
video_writer.write(frame)
frame_index += 1
# 按‘q’键可以提前退出循环
if cv2.waitKey(1) & 0xFF == ord(‘q’):
break
最后,别忘了释放资源:
cap.release()
video_writer.release()
cv2.destroyAllWindows()
跑完这段代码,你应该已经能看到一个实时显示骨架动画的窗口,并且 runs 文件夹下会生成一个 *_skeleton.avi 文件。但这只是完成了可视化的部分,我们最重要的数据产品——那个结构化的Excel文件,还在下一步。
4. 数据归一化与结构化输出:生成可分析的数据表格
上一步我们虽然做了归一化(x_norm = x / frame_width),但数据还零散地存在列表里。这一步的目标,就是把这些数据“熨平”,整理成一张标准的、任何数据分析软件都能轻松读取的表格。
为什么归一化这么重要?想象一下,你的原始视频可能是1920x1080的,下次换了个手机拍的1280x720的视频。如果不做归一化,同一个“右肩”关键点,在两个视频里的坐标数值范围完全不同,根本无法直接比较。归一化到[0, 1]区间后,坐标值就变成了相对于图像尺寸的比例,消除了分辨率差异的影响,这对于后续的动作比对、标准度评分至关重要。
我们接着上面的代码,在释放资源之后,来处理 keypoints_list 这个“数据宝库”。
# 将关键点数据保存为 Excel 文件
data = [] # 准备一个空列表,用来存放每一行数据
for item in keypoints_list:
frame_num = item[“frame”]
for i, (x_norm, y_norm, conf) in enumerate(item[“keypoints”]):
data.append({
“Frame”: frame_num,
“Keypoint_Index”: i,
“X_Norm”: round(x_norm, 6), # 保留6位小数,精度足够
“Y_Norm”: round(y_norm, 6),
“Confidence”: round(conf, 4)
})
这里我用了两层循环。外层循环遍历每一帧,内层循环遍历该帧中每个人的每一个关键点(注意,我们之前是按人存储的,但这里 keypoints 列表里已经是过滤和归一化后的点)。enumerate 函数帮我们拿到了关键点的索引 i(0到16),对应着不同的身体部位。我把帧号、关键点索引、归一化后的X坐标、Y坐标和置信度打包成一个字典,然后追加到 data 列表里。这里我对数值做了四舍五入,主要是为了让生成的Excel表格看起来更整洁,不会有一长串的小数。
接下来,请出数据处理神器Pandas:
# 转换为 DataFrame
df = pd.DataFrame(data)
# 保存为 Excel 文件
output_excel_path = “keypoints_output_normalized.xlsx”
df.to_excel(output_excel_path, index=False) # index=False表示不保存行索引
print(f“归一化关键点数据已保存到 {output_excel_path}”)
就这么简单!现在,打开你的项目文件夹,你会发现多了一个 keypoints_output_normalized.xlsx 文件。用Excel或者WPS打开它,你会看到类似这样的表格:
| Frame | Keypoint_Index | X_Norm | Y_Norm | Confidence |
|---|---|---|---|---|
| 0 | 0 | 0.512344 | 0.234567 | 0.9876 |
| 0 | 1 | 0.498765 | 0.245678 | 0.9567 |
| … | … | … | … | … |
| 1 | 0 | 0.515432 | 0.238765 | 0.9821 |
每一行代表特定帧的特定一个关键点。Frame是帧序号,Keypoint_Index告诉你这是哪个部位(比如0是鼻子,5是左肩,等等),X_Norm和Y_Norm就是归一化后的坐标,Confidence是模型预测的把握。这样的格式,无论是用Python的Pandas、NumPy进行统计分析,还是导入到MATLAB、R里做进一步研究,都极其方便。
5. 实战调优与避坑指南:让流程更健壮
代码跑通了,基础功能实现了,但要想在实际项目里用得顺手,还得做一些优化和异常处理。这里分享几个我踩过坑后总结的经验。
第一,处理多人场景。 我们上面的代码逻辑,在视频里只有一个人时工作得很好。但如果画面里同时出现多个舞者呢?你会发现 keypoints_list 里存储的数据是按人追加的,但缺少了“人物ID”这个信息。导致在Excel里,你无法区分第10帧的鼻子关键点属于舞者A还是舞者B。解决办法是利用YOLO返回的检测框信息。results 里通常也包含 boxes 数据,每个框有一个 id(跟踪ID)或 cls(类别)。我们可以修改存储结构,把人物ID也存进去。不过对于舞蹈教学分析,通常还是针对单人,这个需求可以根据实际情况添加。
第二,性能优化。 如果你处理的是长视频,或者对实时性要求高,可以尝试这几招:
- 调整推理尺寸:在
model.predict里加入参数imgsz=320。这会让模型在推理前把图像缩放到320像素,大幅提升速度,当然精度会有轻微损失。需要根据你的场景权衡。 - 跳帧处理:如果不是非要每一帧的数据,可以在主循环里加一个计数器,每隔N帧处理一次,跳过中间的帧。
- 使用GPU:确保你的PyTorch和CUDA版本匹配,并且代码在GPU上运行。
ultralytics库会自动使用GPU如果检测到可用。
第三,骨架绘制的稳定性。 有时候你会发现骨架线会“闪烁”,某一帧突然少了条胳膊或腿。这往往是因为某个关节点置信度瞬间低于了0.5的阈值。对于舞蹈这种连续动作,可以尝试用简单滤波来平滑:比如,存储前几帧的关键点位置,如果当前帧某个点置信度太低,就用前几帧的平均位置来代替。这能有效减少抖动,让骨架动画看起来更流畅。
第四,数据存储的扩展。 除了存Excel,你可能还需要其他格式。Pandas的DataFrame非常强大,可以轻松导出为CSV(df.to_csv)、JSON(df.to_json)甚至直接存入数据库。对于超长视频,Excel可能不是最佳选择,CSV或Parquet格式更轻量。另外,可以考虑按帧或按人把数据拆分成多个文件,方便管理。
最后,别忘了错误处理。比如视频路径错误、模型加载失败、磁盘空间不足导致无法写入文件等。在生产环境里,用 try…except 语句把关键步骤包起来,并记录日志,是非常好的习惯。比如:
try:
cap = cv2.VideoCapture(video_path)
if not cap.isOpened():
raise IOError(f“无法打开视频文件:{video_path}”)
except IOError as e:
print(e)
# 这里可以记录日志,或者尝试其他备用路径
exit(1)
把这些细节都考虑到,你的这个姿态估计数据流水线才算真正地健壮和实用。从一段原始舞蹈视频,到一份干净、归一化、结构化的关键点数据表,整个流程就走完了。这份数据,就是后续进行动作识别、相似度比对、标准度评估的黄金原料。
233



被折叠的 条评论
为什么被折叠?



