Rethinking on Multi-Stage Networks for Human Pose Estimation

最新推荐文章于 2022-11-14 08:12:01 发布
原创 最新推荐文章于 2022-11-14 08:12:01 发布 · 2.6k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#human pose #multi-stege

本文探讨了如何设计一个多阶段网络，随着网络阶段的增加，模型的预测性能逐渐增强，针对人体姿态估计任务。研究者魔改了Hourglass模块，增加了通道数以保留更多信息，并采用了U-Net的连接方式来改善信息传递。此外，不同阶段的标签高斯核大小也有所不同，以适应更精确的预测需求。每阶段还引入了中继监督，提高模型训练效果。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

无聊翻arxiv发现的文章,先放地址: 文章地址. 本来一开始觉得是和凯明大神那篇’rethinking imagenet pretrain’ 文章一样,干货满满, 读完之后略有失望.

这篇文章是Face++团队出品的,旨在设计出一个好的multi-stage的pose 检测. 这篇文章的主要目的,是为了设计一个随着网络stage数目增加, 模型的预测能力逐步提高的网络. 而不是像之前的hourglass或者其它网络一样,增加stage数目并不会显著提高模型的预测能力. 对比图如下:
在这里插入图片描述
图1 可以看出,Hourglass和single-stage这两个模型,随着stage数目的增加,coco ap值并没有显著提高.而网络提出的MSPN网络却可以近似做到. 文章的主要目的就是这个, 那怎么设计multi-stage网络呢,主要做了三点:

  1. 魔改hourglass module. hourglass module是top-down 和 down-up层级沙漏结构,而且在整个hourglass module中,所有的通道数都保持固定(256). 文章提出这样做在downsample的过程中,featuremap的空间分辨率变小了,但通道数没有增加,这样就会损失一部分信息. 而pose的检测其实如果在网络前期有一点误差,就可能对最后的结果产生很大的影响. 所以, 文章提出的MSPN网络类似于hourglass的设计理念,在downsample过程中, 逐步提高每个scale的channel数, 如下图所示:在这里插入图片描述
最低0.47元/天 解锁文章

200万优质内容无限畅学
2D关键点检测之MSPN：Rethinking on Multi-Stage Networks for Human Pose Estimation
qq_54793880的博客
06-25 552
2D关键点检测之MSPN：Rethinking on Multi-Stage Networks for Human Pose Estimation 时间：2019.01 ArXiv 2019 分类：计算机视觉–人体关键点检测–2D topdown_heatmap。
论文解读-Rethinking on Multi-Stage Networks for Human Pose Estimation
为之则易，不为则难
02-16 3086
文章目录1 动机2 算法设计2.1 更好的single-stage module2.2 Cross Stage特征融合2.3 Coarse-to-fine Supervision3 实验结果3.1 backbone的影响3.2 stages个数的影响3.3 Cross Stage特征融合的影响3.4 Coarse-to-fine Supervision的影响3.5 高斯核的影响4 总结5 参考资...
Rethinking on Multi-Stage Networks for Human Pose Estimation 源码分析
xiaoxu1025的专栏
11-14 607
Rethinking on Multi-Stage Networks for Human Pose Estimation 源码分析
[文献阅读]Rethinking on Multi-Stage Networks for Human Pose Estimation-CVPR2019
weixin_43897346的博客
06-17 289
2020人体姿态估计综述（Part2：2D Top-Down Multi-Person Pose Estimation）
qq_42974561的博客
08-15 4089
承接上一篇博文：A 2020 Human Pose Estimation Review （Part1：2D Single Person） 目录 3 2D Top-Down Multi-Person Pose Estimation   3.1 Top-Down   3.2 Mask RCNN   3.3 Cascaded Pyramid Network for Multi-Person Pose Estimation   3.4
CVPR 2019 | MSPN 重新思考多阶段人体姿态估计网络
yuanCruise
03-01 2813
CVPR 2019 | Rethinking on Multi-Stage Networks for Human Pose Estimation Official Code: pytorch 1.重新划分人体姿态估计网络类别 bottom-up and top-down： 现有的人体姿态估计网络综述中，通常将其分为bottom-up和top-down两大类。其中bottom-up类网络直接提取全图...
姿态估计Rethinking on Multi-Stage Networks for Human Pose Estimation论文梗概及代码解读
小小小麦昆的博客
10-16 2437
2018年COCO关键点检测冠军算法MSPN，姿态估计，Top-down的技术路线 应该是截止2019年10月26日时开源的最好的姿态估计算法之一了 旷世出品 代码链接点这，是基于Pytorch的 论文链接点这 摘要 姿态估计方法以基本形成one-stage 和 multi-stage两个路线 多阶段看上去更适合任务，但是现在多阶段的性能还是不如单阶段的 我们论文就来研究这个问题，我们讨论当下多阶...
[Rethinking on Multi-Stage Networks for Human Pose Estimation] 论文解读
qq_33949900的博客
03-15 1285
1，摘要： 单阶段网络 多阶段网络（尽管多阶段网络更适合当前的工作，但是目前多阶段表现还是没有单阶段好） 2，介绍： 近年来，使用深卷积神经网络的人体姿态估计问题得到了快速发展。目前，表现最佳的方法非常简单，通常基于从图像分类任务传输的单级背部骨骼网络。例如，2017年COCO关键点挑战赛获胜者[8]基于重新开始[35]。最近的简单基线方法[39]使用ResNet[15]。由...
论文阅读 Multi-Scale Structure-Aware Network for Human Pose Estimation
u013548568的博客
03-29 3394
1、 文章在hourglass的网络基础上做了四点改进 1）多尺度监督来加强语义特征学习来融合多尺度的特征 2）多尺度的回归网络来优化整体的人体结构 3）structure-aware损失（在多尺度监督和回归中都有用到）来提升关键点的匹配度和邻近关键点的关系从而推测一个高阶的配置（就是刻画临近关键点的关系） 4）keypoint masking作为数据扩增的方式 2、传统网络的缺陷 ...
mspn人体姿态检测算法模型
08-16
CVPR 2019 | Rethinking on Multi-Stage Networks for Human Pose Estimation CVPR 2019 | MSPN 重新思考多阶段人体姿态估计网络模型资源 没有coco数据
重新思考人体姿态估计 Rethinking Human Pose Estimation
senius的博客
07-13 1084
重新思考人体姿态估计–2D人体姿态估计基本任务的研究问题、意义和应用 1.基本定义：从单张RGB图像中，精确地识别出多个人体的以及其骨架的的稀疏的关键点位置。 2.基本任务：定位图像中人体的关键点位置，并确定其隶属的人体。 任务的人为抽象解析: 关键点及周围的局部特征是什么样的？关键点之间的空间约束关系是什么样的？不同人体之间的交互关系是什么样的，人体与外界环境之间的交互关系是什么？ 当下深度CN...
[论文阅读] Multi-Scale Structure-Aware Network for Human Pose Estimation（ECCV 2018）
weixin_43897346的博客
05-08 549
[论文阅读] Multi-Scale Structure-Aware Network for Human Pose Estimation（ECCV 2018） 当前人体估计方法中存在的问题： （1） scale不稳定性：微小的输入bounding box扰动对人体姿态估计会造成较大影响。现有的基于Hourglass的方法通常会在某一个scale过拟合，这些方法都采用重复向前传递不同scales来解...
【论文阅读笔记】Multi-Scale Structure-Aware Network for Human Pose Estimation
时光机 °的博客
12-29 731
论文地址：https://arxiv.org/abs/1803.09894 论文总结   本文的主要贡献是提出了一种结构损失的损失函数，将几个物理相连的肢体关键点连接起来，用于人体姿态估计。肢体是我们所认知的人体结构先验，本文将其利用了起来。可以利用身体结构先验，从可见关键点得到不可见关键点的线索。   本论文的改进了目前的深层conv-deconv的 hourglass 模型，有四点改进：（1）多尺度监督想法的实践，通过结合跨尺度的特征heatmaps来加强身体关键点的上下文信息；（2）多尺度回归网络，对
【姿态估计论文阅读】Multi-Scale Structure-Aware Network for Human Pose Estimation
小欧欧的博客
01-22 1588
           前言：这是ECCV2018的文章，也是MPII目前的top 结果。这篇文章，用了很多“中继监督",本文的主要思想是结合“多尺度信息”，把这个体现到loss中，并且对多尺度信息进行结合，利用这一点来提升feature 效果。同时也引入了人体的结构信息，不像以前都是单个keypoint的heatmap 单独预测，本文还预测一种关联heatmap。还提出了一种keypoint的m...
PifPaf: Composite Fields for Human Pose Estimation
Talk is cheap, show me the code!
03-05 3722
发表于arxiv, 一个bottom-up的方法, 用来预测单张图片中多个人体的关节点位置, 已开源
论文阅读笔记PifPaf: Composite Fields for Human Pose Estimation
LLY_A_的博客
08-24 495
一、主要贡献 解决了给定单个输入图像的完善的多人 2D 人体姿态估计问题。 我们专门解决了自主导航设置中出现的挑战，如图 1 所示：(i) 宽视角，人类分辨率有限，即 30-90 像素的高度，以及 (ii) 行人相互遮挡的高密度人群 . 当然，我们的目标是高召回率和准确率。 二、思想概述 新方法 PifPaf 使用Part Intensity Field (PIF) 来定位身体部位，使用Part Association Field (PAF) 将身体部位相互关联以形...
姿态估计——PifPaf:Composite Fields for Human Pose Estimation
乐亦亦乐的博客
11-28 3160
本文仅作为自己学习过程的一个记录。 论文地址：https://arxiv.org/pdf/1903.06593.pdf GitHub地址：https://github.com/vita-epfl/openpifpaf 官方API：https://vita-epfl.github.io/openpifpaf/intro.html 浏览器在线测试：https://vita-epfl.github.io/openpifpafwebdemo/ https://www.cnpython.com/pyp.
EfficientNet: Rethinking model scaling for convolutional neural networks论文
最新发布
03-19
地址：https://paperswithcode.com/paper/efficientnet-rethinking-model-scaling-for - Semantic Scholar: 类似于Google Scholar的功能，但界面更加简洁友好。 地址：https://www.semanticscholar.org/ 以下是...
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值