HigherHRNet: Scale-Aware Representation Learning for Bottom-Up Human Pose Estimation (CVPR2020)

最新推荐文章于 2025-02-23 13:11:31 发布
原创 最新推荐文章于 2025-02-23 13:11:31 发布 · 3.2k 阅读 · 13 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#HRNet #HigherHRNet #Bottom-Up #MultiPersonPose

HigherHRNet是HRNet的升级版，它在底向上的人体姿态估计任务中表现出色。通过增加反卷积层，提升特征图分辨率，从而提高了预测精度。HigherHRNet采用多分辨率监督，利用不同尺度的heatmap融合实现对不同大小人物的准确定位。在COCO和Crowd Pose数据集上，HigherHRNet达到了最先进的结果。

official pytorch code
paper link
恭喜文章被CVPR 2020接收。本来19年的时候在arxiv上找到了这篇文章，当时还是叫做"Bottom-up Higher-Resolution Networks for Multi-Person Pose Estimation"，今天一看arxiv上已经更新到v3了，名字也改了。

HigherHRNet是在HRNet和Simple baseline工作的基础上形成了。HRNet因其可以一直保持一个high resolution way来提取feature，提取的feature效果很好，从而可以用在pose estimation，object detection，semantic segmentation等工作上，具体可以查看here. HigherHRNet则更进一步，因为之前simple baseline的工作证明了，通过反卷积得到更高分辨率的featuremap有助于pose estimation效果的提高，因此，HigherHRNet就是在HRNet原本输出的featuremap基础上，额外加入了一个反卷积，使得模型的输出size进一步提高，pose estimation效果更好。HigherHRNet的具体网络结构如下图所示：在这里插入图片描述
虚线后面就是HigherHRNet在HRNet基础上新加的内容。除了需要在原本的1/4 branch上得到heatmap输出外，又在此基础上额外加入个反卷积得到1/2的featuremap，并在后面加上4个residual block用来refine，最终得到1/2

最低0.47元/天 解锁文章
论文阅读-《HigherHRNet: Scale-Aware Representation Learning for Bottom-Up Human Pose Estimation》
zyd_994264926326的博客
03-26 1372
自下而上的HPE在预测小个体的正确姿态方面存在困难，故提出HigherHRNet——使用高分辨率特征金字塔学习尺度感知表示。通过高分辨率特征金字塔和多分辨率监督与聚合，解决了尺度变化带来的挑战，实现了更精确的关键点定位，尤其在处理小个体时表现优异。特征金字塔的主要思想是通过构建多尺度的特征表示，使得模型能够在不同尺度下对目标进行预测。二维人体姿态估计旨在定位人体的关键点或部位，是理解人类行为的重要技术。目前的方法主要分为自上而下和自下而上两类。
姿态估计——HigherHRNet：Scale-Aware Representation Learning for Bottom-Up Human Pose Estimation
乐亦亦乐的博客
11-08 1757
github：https://github.com/HRNet/HigherHRNet-Human-Pose-Estimation Abstract 自底向上的人体姿态估计方法由于尺度变化的挑战，在预测小个体的正确姿态方面存在困难。在这篇论文中，我们提出了HigherHRNet。一个新的自下而上的方法，使用高分辨率的特征金字塔学习scale-aware表达。多分辨率监督用于训练和多分辨率聚合用于推理，该方法能够解决自下而上多人姿态估计中的尺度变化挑战，并更精确地定位关键点，...
《HigherHRNet: Scale-Aware Representation Learning for Bottom-Up Human Pose Estimation》（CVPR2020）
jaredray的博客
03-05 1129
额
HigherHRNet: Scale-Aware Representation Learning for Bottom-Up Human Pose Estimation 阅读笔记
AnZhiJiaShu's blog
06-03 1011
2020 cvpr 论文链接 代码链接摘要： 由于尺度的变化，bottom-up 人体姿态估计法很难预测小人体的正确姿态。本文提出了一种新的 bottom-up 人体姿态估计方法：HigherHRNet ，用于使用高分辨率特征金字塔学习尺度感知表示。HigherHRNet 具有多分辨率监督训练和多分辨率聚合推理功能，能够解决 bottom-up 多人姿态估计中的尺度变化问题，并能更精确定位关键点，尤其是针对小人体的关键点。HigherNet 中的特征金字塔由来自 HRNet 的特征图输出和通过转置卷积的上采
《HigherHRNet：Scale-Aware Representation Learning for Bottom-Up Human Pose Estimation》论文笔记
m_buddy的博客
09-18 1594
参考代码：HigherHRNet 1. 概述 导读：在bottom-up类型的人体关键点检测算法中，人物目标密集和人物目标过小都是算法表现不好的场景，对此这篇文章从特征提取的角度，在HRNet的基础上（用HRNet的输出并使用trasnpose卷积进行上采样）引入特征金字塔优化关键点检测算法HigherHRNet，算法从高分辨的特征金字塔学习scale-aware表达（train的时候是scale-aware的，infer的时候是将heatmap融合预测的），因而这样对尺度带来的检测问题有了一定的优化。文
Distribution-Aware Coordinate Representation for Human Pose Estimation 姿态估计 CVPR2019
小小小麦昆的博客
01-07 4311
Distribution-Aware Coordinate Representation for Human Pose Estimation 姿态估计 CVPR2019 论文翻译，学习笔记，论文梗概 论文原文点这 这篇文章是该团队基于2018年工作的改进，2018年那个论文翻译点这 Abstract 姿态估计使用热度图来定位已成为惯例，但是据作者所知并没有文献对热度图进行系统的研究，本文将填补这个...
Paper Reading:Distribution-Aware Coordinate Representation for Human Pose Estimation
Celia
03-24 455
CVPR2020 Distribution-Aware Coordinate Representation for Human Pose Estimation Abstract方法Coordinate Decoding一、The Standard coordinate decoding method二 、The Proposed coordinate decoding methodCoordina...
人体姿态2019（七）Weakly-Supervised Discovery of Geometry-Aware Representation for 3D Human Pose Estimation
Raywit的博客
07-30 3679
《Weakly-Supervised Discovery of Geometry-Aware Representation for 3D Human Pose Estimation》论文解读 Abstract 1. Introduction 2. Weakly-Supervised Geometry Representation 原文：Weakly-Supervised Discovery of Geometry-Aware Representation for 3D Human Pose Estimat
【论文笔记】Mutual Information-Based Temporal Difference Learning for Human Pose Estimation in Video
qq_35374674的博客
04-08 1469
今天跟大家分享一篇收录于CVPR2023，有关视频2D人体姿态估计的工作《Mutual Information-Based Temporal Difference Learning for Human Pose Estimation in Video》，拜读了本文，受益匪浅，现简要记录读后感。本文的创新在于作者提出利用互信息表征学习方式，引导模型学习task-relevant的特征。
HigherHRNet
qq_51180928的博客
02-23 1000
HigherHRNet
HigherHRNet-Human-Pose-Estimation-master.zip
04-28
最新姿态估计模型 Bottom-up Higher-Resolution Networks for Multi-Person Pose Estimation, Cheng etc, Arxiv 2019
HRNet-Bottom-Up-Pose-Estimation:这是“通过对热图引导的自适应关键点估计值进行排名来实现自下而上的人体姿势估计”的官方pytorch实施（https
04-01
通过对热图引导的自适应关键点估计值进行排序来实现自下而上的人体姿势估计 介绍 在这项工作中，我们提出了一些在改善关键点检测和分组（关键点回归）性能上很少或不深入研究的方案。 首先，我们利用关键点热图进行逐像素关键点回归，而不是将它们分开以改善关键点回归。 其次，我们采用像素级空间变换器网络来学习自适应表示，以处理比例和方向方差，从而进一步提高关键点回归质量。 最后，我们提出了一种联合形状和热值评分方案，以促进估计的姿势更可能是真实姿势。 结合权衡热图估计损失以平衡背景像素和关键点像素，从而提高热图估计质量，我们可以获得最先进的自下而上的人体姿势估计结果。 主要结果 不进行多尺度测试的COCO val2017结果 骨干 输入尺寸 #Params GFLOPs 美联社 Ap .5 AP .75 AP（男） AP（长） 增强现实 AR .5 AR .75 手臂） AR（左）
HigherHRNet-Human-Pose-Estimation：这是我们CVPR 2020论文“ HigherHRNet：自底向上人体姿势估计的规模感知表示学习”的正式实施（https：arxiv.orgabs1908.10357）
02-21
消息 [2020/07/05]来自Towards Data Science的，介绍了HRNet和HigherHRNet用于人体姿态估计。 [2020/03/12]支持对CrowdPose数据集进行培训/测试。 [2020/02/24] CHRPR2020接受HigherHRNet！ [2019年11月23日]代码和模型现在发布！ [2019/08/27] HigherHRNet现在在。 我们还将发布代码和模型，敬请期待！ 介绍 这是的官方代码。 自下而上的人体姿态估计方法由于尺度变化的挑战而难以为小人物预测正确的姿态。 在本文中，我们提出了HigherHRNet ：一种新的自底向上的人体姿势估计方法，用于使用高分辨率特征金字塔学习比例感知表示。 该方法配备了用于训练的多分辨率监督和用于推理的多分辨率聚合，能够解决自下而上的多人姿势估计中的尺度变化挑战，并能够更精确地定位关键点，尤其
论文解读｜规模感知表示学习自底向上人体姿态估计
Hinyeung2021的博客
07-07 317
与传统的特征金字塔从1/32分辨率开始逐渐提高到1/4分辨率的方法不同，高分辨率特征金字塔直接从backbone中的最高分辨率1/4开始生成特征图，并通过反卷积进一步生成更高分辨率的特征图。先前的自下而上方法主要使用单一分辨率的特征图来预测关键点的热图，忽略了尺度变化的挑战，并依赖图像金字塔来处理不同尺度的人体。因此，本论文的目标是以一种自然而简单的方式，通过引入多尺度特征表示和自适应分辨率策略，生成空间上更准确且具有尺度感知的热图，提高对不同尺度人体姿势的准确性和鲁棒性，同时不增加计算成本。
HigherHRNet: Scale-Aware Representation Learning forBottom-Up Human Pose Estimation论文笔记
m0_51897038的博客
11-08 512
本论文是在HRNet的基础上加入反卷积提高第一个分支的分辨率，高分辨率有利于自底向上的姿态估计的关节检测和肢体检测，具体解析下面文章较为详细 HigherHRNet 论文阅读笔记_酉意铭的博客-优快云博客_higherhrnet论文：《HigherHRNet: Scale-Aware Representation Learning for Bottom-Up Human Pose Estimation》论文链接：https://arxiv.org/pdf/1908.07919.pdf代码链接：https
【HigherHRNet】 HigherHRNet 详解之 HigherHRNet的整体框架与流程
sazass的博客
08-24 7216
相关系列链接： 前言： HigherHRNet 来自于CVPR2020的论文： HigherHRNet: Scale-Aware Representation Learning for Bottom-Up Human Pose Estimation。 论文主要是提出了一个自底向上的2D人体姿态估计网络–HigherHRNet。 该论文代码成为自底向上网络一个经典网络，CVPR2021年最先进的自底向上网络DEKR和SWAHR都是基于HigherHRNet的源码上进行的局部改进。 所以搞懂HigherHRNe
HigherHRNet简介
m0_37909240的博客
07-03 2174
HigherHRNet: Scale-Aware Representation Learningfor Bottom-Up Human Pose Estimation HigherHRNet: 自下而上姿态估计中的多尺度表征学习 论文地址：https://arxiv.org/pdf/1908.10357.pdf 2D 人体姿态估计是计算机视觉领域的基本研究方向之一，多人 2D 姿态估计（Multi-Person Pose Estimation）是该方向上的一个经典难题。自下而上的框架在速度上有优势，但
HigherHRNet 源码分析
xiaoxu1025的专栏
11-14 2309
HigherHRNet 源码分析
Instance-Adaptive and Geometric-Aware Keypoint Learning for Category-Level 6D Object Pose Estimation
最新发布
07-08
### 论文概述 论文《Instance-Adaptive and Geometric-Aware Keypoint Learning for Category-Level 6D Object Pose Estimation》由Xiao Lin等人在CVPR2024上发表，旨在解决类别级6D物体姿态估计中的关键点学习问题。该方法通过实例自适应和几何感知的关键点学习策略，提高了姿态估计的准确性和鲁棒性[^2]。 ### 核心思想 #### 实例自适应关键点学习 传统的关键点检测方法通常依赖于固定的特征描述子，这种方法在处理不同实例时可能会失效。实例自适应关键点学习通过动态调整特征提取器，使得每个实例都能获得最适合其自身特征的关键点描述。这不仅提高了关键点检测的准确性，还增强了模型对不同实例的泛化能力[^1]。 #### 几何感知关键点学习 几何感知关键点学习则是通过引入几何约束来优化关键点的位置。具体来说，该方法利用了物体表面的法线方向和曲率信息，确保关键点分布在具有显著几何特征的位置。这种策略有助于提高关键点的空间一致性，从而提升姿态估计的精度[^2]。 ### 技术实现 #### 网络架构 论文提出了一种双分支网络架构，分别用于实例自适应特征提取和几何感知关键点检测。实例自适应分支通过注意力机制动态调整特征权重，而几何感知分支则利用几何特征图进行关键点预测。 ```python class InstanceAdaptiveKeypointNet(nn.Module): def __init__(self): super(InstanceAdaptiveKeypointNet, self).__init__() # 定义实例自适应分支 self.instance_branch = AttentionFeatureExtractor() # 定义几何感知分支 self.geometry_branch = GeometryFeatureExtractor() def forward(self, x): instance_features = self.instance_branch(x) geometry_features = self.geometry_branch(x) # 结合两种特征进行关键点预测 keypoints = self.keypoint_predictor(instance_features, geometry_features) return keypoints ``` #### 损失函数 为了联合优化实例自适应和几何感知部分，论文设计了一个多任务损失函数，包括关键点位置损失、实例特征匹配损失和几何一致性损失。 ```python def loss_function(keypoints_pred, keypoints_gt, features_pred, features_gt, normals_pred, normals_gt): keypoint_loss = mse_loss(keypoints_pred, keypoints_gt) feature_match_loss = cosine_similarity(features_pred, features_gt) geometric_consistency_loss = normal_consistency(normals_pred, normals_gt) total_loss = keypoint_loss + 0.5 * feature_match_loss + 0.3 * geometric_consistency_loss return total_loss ``` ### 应用场景 该方法适用于需要高精度6D姿态估计的应用场景，如机器人抓取、自动驾驶中的物体识别以及增强现实中的交互定位。由于其实例自适应特性，特别适合处理同一类别的多个不同实例，例如在工业自动化中识别不同型号的零件。 ### 总结 通过实例自适应和几何感知的关键点学习策略，《Instance-Adaptive and Geometric-Aware Keypoint Learning for Category-Level 6D Object Pose Estimation》提供了一种高效且准确的姿态估计解决方案。这种方法不仅提升了关键点检测的鲁棒性，还在多种应用场景中表现出色[^1]。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值