姿态估计论文理解

Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields  

paperuri:(ee7d699fb12eb95daec96f29da5452b9)

代码:

https://github.com/CMU-Perceptual-Computing-Lab/openpose


文章代码总共分为两条线

第一条线:求所有的关键点(头,肩膀,手肘,手腕 ... )

1)一共两个cnn,第一个cnn的输入是原图,输出是热图(每一个热图包含某一种关键点)

2)第二个cnn输入是上一个cnn得到的所有热图,和原图。输出还是热图。

循环直至收敛


第二条线:求所有关节区域

1)一共两个cnn,第一个cnn的输入是原图,输出是热图(每一个热图包含某一种连接(可以简单理解为骨头)区域),其实它们是一整片区域,不过每个地方的概率大小不同。

2)第二个cnn输入是上一个cnn得到的所有热图,和原图。输出还是热图。

循环直至收敛


根据前边两个阶段得到的两个热图,计算哪两个点连接比较好。这就要根据关节区域和点的位置来计算每个像素的小法向。生成一个法向图。

根据前边生成的法向图,第一条线中最后得到的各个点的连线,确定哪两个点的连线的概率最大,找到所有这样的线。找到一个线就可以开始用最小生成树算法来找下一条线,最终得到一个人的骨架,然后得到所有的骨架,如果有连接不完整的,那就残缺的存在就好了。

转:https://blog.youkuaiyun.com/sun7_she/article/details/75095387

### 关于人体姿态估计的最新研究 人体姿态估计是一项重要的计算机视觉任务,旨在通过分析图像或视频来识别和跟踪人体的关键部位。近年来,随着深度学习技术的发展,该领域取得了显著进展。 一项最新的研究成果利用场景图(Scene Graphs)改进了人体与物体交互检测的效果[^1]。这项工作展示了如何结合上下文信息提升对人体动作的理解能力。此外,在更广泛的视觉理解领域中,尽管已有许多突破性成果,但仍需进一步努力才能实现接近人类水平的感知性能[^2]。 以下是几个关键方向和技术方法: #### 数据集增强 为了提高模型泛化能力和鲁棒性,研究人员不断开发更大规模、更多样化的数据集用于训练。例如 COCO 和 MPII 是两个常用的人体姿态估计基准数据库。 #### 深度神经网络架构创新 卷积神经网络 (CNN) 已成为主流解决方案之一。ResNet、Hourglass Networks 等结构被广泛应用于提取特征并预测关节位置。下面是一个简单的基于 PyTorch 的 Hourglass Network 实现框架: ```python import torch.nn as nn class HourglassModule(nn.Module): def __init__(self, num_features): super(HourglassModule, self).__init__() # 定义下采样层 self.downsample = nn.MaxPool2d(kernel_size=2, stride=2) # 中间处理部分可以加入残差模块或其他复杂设计 self.intermediate_process = ResidualBlock(num_features) # 上采样恢复原始分辨率 self.upsample = nn.Upsample(scale_factor=2, mode='nearest') def forward(self, x): down_x = self.downsample(x) processed_x = self.intermediate_process(down_x) up_x = self.upsample(processed_x) return up_x + x # 跳跃连接以保留细节信息 ``` #### 多模态融合 除了单纯依靠 RGB 图像外,还有探索引入其他传感器输入如红外线或者深度摄像头获取额外维度的信息辅助判断。 #### 自监督/弱监督学习策略 由于标注高质量的人体姿势样本耗时费力成本高昂,因此也有不少尝试采用自监督方式减少人工干预程度的工作出现。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值