论文解读-Stacked Hourglass Networks for Human Pose Estimation

最新推荐文章于 2024-09-13 17:33:45 发布
最新推荐文章于 2024-09-13 17:33:45 发布
阅读量1.7k 收藏 7
点赞数 2
CC 4.0 BY-SA版权
分类专栏： 深度学习算法 文章标签： 姿态估计
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/diligent_321/article/details/86689814
本文解读经典论文Stacked Hourglass Networks，探讨如何利用局部和全局信息进行人体姿态估计。网络结构包含对称的沙漏模块，通过中间约束加速收敛，并通过堆叠模块学习更高阶的空域结构。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

文章目录

在上一篇文章中，笔者解释了对OpenPose人体关键点检测算法的思考，它是一种“bottom-to-up”的人体姿态估计算法。为了对人体姿态估计这个方向有更加深刻的认识，笔者查阅了2018年的三大顶会(CVPR/ICCV/ECCV)的文章，发现很多新的论文都是基于“Stacked Hourglass Networks”所做的改进，于是笔者认真阅读了这篇经典文章，有了一些自己的理解，故这里记录下来。

1 动机

对于人体姿态估计任务，也即检测人体的骨骼关键点，显然需要获取图像的local 细节信息，但是对于下面这张图，由于梅球王的右腿膝盖位置被遮挡了，导致局部细节信息丢失，这个时候怎么办呢？考虑人眼的视觉系统，我们是基于身体其它部位推断出右腿膝盖位置的，从理论角度来讲，是基于被遮挡点的全局上下文信息（global context），推断当前被遮挡点的位置的。

因此，应对人体姿态估计任务，需要同时利用局部信息和全局信息。
在这里插入图片描述

2 网络结构

浅层特征对应了图像的局部信息，深层特征对应了图像的全局信息。为了获取不同尺度的特征信息，借鉴目标检测任务的思路，有两种常用的做法，图像金字塔和特征金字塔。论文中采用了特征金字塔的方式，将浅层和深层特征做融合，来预测人体关键点。

2.1 单一沙漏模块

单个沙漏模块的网络结构如下图，
在这里插入图片描述
大家看该网络的结构，第一印象是不是感觉很美呢？因为整个网络结构是对称的，输入

最低0.47元/天 解锁文章

200万优质内容无限畅学
论文翻译：Stacked Hourglass Networks for Human Pose Estimation
com_fang_bean的博客
08-02 1075
摘要本文提出了一种新的卷积网络结构用于人体姿态估计。所有尺度上的特征都被处理和整合，以最佳地捕捉与身体相关的各种空间关系。我们展示了重复的自底向上、自顶向下处理与中间监督结合使用是如何提高网络性能的关键。我们将该体系结构称为“堆叠沙漏”网络，它基于连续的池化和向上采样步骤，这些步骤用于生成最终的一组预测。在FLIC和MPII基准上取得了最先进的结果，超过了所有最近的方法。 图1所示。我们的姿态估计网络由多个堆叠的沙漏模块组成，允许自底向上、自顶向下的重复推理。 在图像和视频中理解人的关键一步是准确的
Stacked Hourglass Networks for Human Pose Estimation
最新发布
qq_52684249的博客
02-23 1582
Stacked Hourglass Networks是用于人体姿态估计的深度学习模型，基于编码器--解码器结构，通过堆叠多个沙漏模块实现多尺度特征提取和逐步优化预测。该模型解决了传统方法在复杂背景、遮挡和尺度变化下关节定位精度不足的问题，借鉴了 U-Net 的跳跃连接和 ResNet 的残差连接思想，并引入中间监督机制提升训练效果。堆叠沙漏网络在 MPII、FLIC 和 LSP 等公开数据集上取得了当时的最优性能，其优势在于能够同时捕捉局部细节和全局上下文，逐步优化预测结果。
论文笔记：Stacked Hourglass Networks for Human Pose Estimation
牛顿爱吃香蕉的博客
04-02 1701
文章目录1、摘要2、介绍3、相关研究4、网络架构4.1、沙漏设计4.2、层实现4.3、堆叠沙漏使用中间监督4.4、训练5、结果5.1、评估5.2、切除实验6、进一步分析6.1、多人6.2、遮挡7、总结 1、摘要 作者提出新的卷积网络架构用于人体姿态估计。特征在所有尺度上进行处理，并整合，以最有效地捕捉与身体相关的各种空间关系。作者展示了，重复进行自底向上和自顶向下的处理，并配合中间监督对提升网络的...
论文笔记----Stacked Hourglass Networks for Human Pose Estimation
LLY_A_的博客
08-12 265
概述：
论文分享 Stacked Hourglass Networks for Human Pose Estimation
Klay Ye
06-17 302
Alejandro Newell, Kaiyu Yang, and Jia Deng University of Michigan, Ann Arbor 2016.7 https://github.com/raymon-tian/hourglass-facekeypoints-detection 摘要 这项工作介绍了一种新的卷积网络结构的任务，人体姿态估计。对所有比例的特征进行处理和整合，以最好地捕捉与身体相关的各种空间关系。我们展示了重复的自下而上、自上而下的处理与中间监管相结合对于提高网络性能的重要性。
Stacked Hourglass Networks for Human Pose Estimation的论文学习
hsclyy的博客
08-02 449
Stacked Hourglass Networks for Human Pose Estimation的论文学习名词解析总结 名词解析 由于是第一次看相关论文，对自己不太熟悉的专用术语作一个记录： pipeline ，一个典型的机器学习构建包含若干个过程 1、源数据ETL 2、数据预处理 3、特征选取 4、模型训练与验证 以上四个步骤可以抽象为一个包括多个步骤的流水线式工作，从数据收...
论文阅读 Hourglass:Stacked Hourglass Networks for Human Pose Estimation
weixin_43948744的博客
07-19 834
论文阅读 Hourglass:Stacked Hourglass Networks for Human Pose Estimation 文章目录 摘要 介绍 相关工作 准备工作 目标看作点 3D检测 人体姿态估计 执行细节 实验 目标检测 额外实验 摘要  本文介绍了一种新的卷积网络结构。为了最好的捕捉与身体相关的各种空间关系，所有尺度的特征都被处理和整合。我们展示了重复的自底向上、自顶向下的处理过程与中间监督结构一起使用是如何有效改善网络性能的。我们将该体系结构称为堆叠的沙漏网络，该网络
2D关键点检测之hourglass：Stacked Hourglass Networks for Human Pose Estimation
qq_54793880的博客
06-05 440
本文的设计基于模块到子网络再到完整网络的思想。一阶hourglass网络就是简单的残差连接，上半路在原尺度进行，下半路先经历下采样再进行上采样。对于二阶hourglass网络，就是在一阶的基础上将一阶网络嵌套进来。使用模块进行网络设计先降采样，再升采样的全卷积结构跳级结构辅助升采样中继监督训练整个hourglass不改变特征的尺度，只改变特征的深度。#####4.Hourglass网络架构图。
堆叠沙漏网络（stacked hourglass network）学习
Cristina的博客
09-13 1330
Stacked Hourglass Networks是2016年密歇根大学提出的经典网络架构。是曾经最具代表性的姿态识别SOTA之一。
Hourglass网络
浩瀚之水的专栏
11-20 759
1.堆叠hourglass网络https://www.cnblogs.com/darkknightzh/p/11486185.html 2.hourglassnet网络解析https://blog.youkuaiyun.com/u013517182/article/details/99377536 3.Hourglass网络的理解和代码分析https://blog.youkuaiyun.com/weix...
Python-用于单人姿势估计的StackedHourglassNetwork的Keras实现
08-11
用于单人姿势估计的Stacked Hourglass Network的Keras实现
Hourglass Network 沙漏网络 （pose estimation姿态估计）
hxxjxw的博客
10-17 7742
在ECCV2016《Stacked Hourglass Networks for Human Pose Estimation》这篇paper中提出 是一个姿态估计（pose estimation）的网络结构 姿态估计（Pose Estimation）是 CV 领域一个非常重要的方向，而Stacked Hourglass Networks 级联漏斗网络的提出就是为了提升姿态估计的效果，但是其中的经典思想可以扩展到其他方向，比如目标识别方向，代表网络是 CornerNet（预测目标的左上...
Stacked Hourglass Networks - 堆叠沙漏网络结构详解
mlking200专栏
07-23 5万+
1.概述 姿态估计（pose estimation）在计算机视觉领域是一个非常重要的方向，人类动作理解，人机互动等等应用都需要精确的姿态识别。目前，绝大多数的2d姿态识别都是识别人体的关键点，比如，给定一张普通的RGB图像，算法会给出人体的脚踝，胳膊，面部等区域的关键点（keypoint）目前，基于stacked Hourglass Model的各种变种算法，牢牢占据了姿态检测的半壁江山，所以，...
Stacked Hourglass Networks
qq_28778507的博客
06-12 1073
终于跳进人体姿态估计的坑了，本篇文章来源于ECCV2016。 论文链接 它的亮点是通过反复上采样和下采样，不断地融合空间信息，这样就可以把各个关键点的信息连贯地融合到一起，最后输出基于像素点的预测，它是一个singel pipeline，其中feature map最小的是4 * 4。 它的设计如图3：经由卷积层和max pooling层将feature map降至较低的分辨率，在Max pool...
卷积神经网络的网络结构——Hourglass
热门推荐
小花生的博客
07-14 6万+
《Stacked Hourglass Networks for Human Pose Estimation》 ECCV2016，密歇根大学的研究团队，Hourglass。 后续的很多人体姿态估计方法都借鉴了hourglass网络结构，并进行了改进，可以说hourglass的网络结构算是受到了业界的认可。 简介： 本文使用全卷积神经网络，对给定的单张RGB图像，输出人体关键点的精确像...
堆叠hourglass网络
何进的博客
09-18 1617
本文目录 1. 简介 2. stacked hourglass 3. hourglass 4. 上采样myUpsample 5. 残差模块 6. conv 7. ConvBlock 1. 简介 该论文利用多尺度特征来识别姿态，如下图所示，每个子网络称为hourglass Network，是一个沙漏型的结构，多个这种结构堆叠起来，称作stacked hourglass。堆叠的...
堆叠沙漏网络（stacked hourglass network）
weixin_52668444的博客
05-10 5634
最近一直在准备3D人体重建的项目，所以在这里记录一下对hourglass net的一些浅显的理解。 本文将以SHN来表示来表示stacked hourglass network。SHN在人体姿势预测（human pose estimation）效果很好。也常常被用到和SMPL相关的项目的当中，比如SMPLR。 hourglass 网络可以在像素级的精度上来预测RGB图片中人体关节的位置，使用SHN的效果大致如下所示， 在计算机视觉领域，我们会发现使用一般的CNN网络结构就可以很好的对物品进行分类，也就是说
论文实践学习 - Stacked Hourglass Networks for Human Pose Estimation
长风破浪会有时，直挂云帆济沧海
05-26 8193
Stacked Hourglass Networks for Human Pose Estimation - Demo Code Stacked Hourglass Networks for Human Pose Estimation - Project - Demo Code – pose-hg-demo - Pre-trained model - Training code – po...
stacked hourglass networks
06-28
### 回答1： 堆叠沙漏网络（Stacked Hourglass Networks）是一种用于人体姿态估计的深度学习模型。它由多个沙漏模块（Hourglass Module）堆叠而成，每个沙漏模块都包含了卷积神经网络和池化层，用于提取特征。堆叠沙漏网络的优点是可以对不同尺度的特征进行处理，从而提高了姿态估计的准确性。 ### 回答2： Stacked Hourglass Networks （SHN）是一种用于图像分割和人体姿势估计的神经网络结构，由卡内基梅隆大学和康奈尔大学的研究人员于2016年提出。SHN通过多层级的堆叠半监督网络，在对输入图像进行多尺度特征提取的同时实现了高分辨率的姿态估计。 SHN主要由两部分构成：堆叠的小型Hourglass网络和批量标准化（BN）。Hourglass网络是指由多层卷积层和上采样层、下采样层构成的一个可编程的Block，用于具体化姿态估计的操作。堆叠在一起的小型Hourglass网络在不同的分辨率和空间上进行特征提取，以共同实现最终的分割和姿态估计结果。批量标准化是一种用于规范化网络输入和加速网络收敛的技术。 SHN对于图像分割和人体姿势估计具有较高的准确率和鲁棒性。采用上述网络结构进行人体姿势估计，可优化难度较大的人体部位之间的相互作用和相互影响，使得姿态估计的精度和稳定性得到了显著提高，在肢体遮挡、图像噪声和背景复杂等困难情况下也可以取得良好的表现。 总之，作为一种多层级、半监督的神经网络结构，SHN在图像分割和人体姿势估计中发挥着越来越重要的作用，也为相关领域的研究和应用提供了一个重要的思路和工具。 ### 回答3： Stacked Hourglass Networks是一个先进的计算视觉网络，用于实现人类关键点检测和姿势估计。与其他现有的方法相比，它具有更准确，更可重复和更快速的输出。该模型通过串联8个Hourglass模块构建，Hourglass模块是特殊的卷积神经网络，可以对图像进行多次分辨率下采样和上采样以提高输出精度。这些模块也具有回归和分类头，能够同时预测关键点的位置和姿势。Stacked Hourglass Networks 模型已经在许多场景中取得成功，如动态手势识别、行人关键点检测和3D姿态估计等。 Stacked Hourglass Networks的核心思想基于卷积神经网络和图像金字塔技术。在处理人体关键点检测时，由于人的姿势会因为动态变化和视角变换而导致关键点位置的不稳定性。因此，处理这个任务的模型需要在不同的尺度下检测关键点和姿势。Stacked Hourglass Networks通过多个Hourglass模块的串联，每个模块将输入图像分别经过多次下采样和上采样，产生一系列不同尺度的特征图。这些特征图经过回归和分类头进行训练和预测，最后合成出整个图像输入的关键点和姿势输出。 Stacked Hourglass Networks模型具有许多优点，如精度高，稳健，具有可解释性等。在实际应用中已经取得了很好的效果。未来，Stacked Hourglass Networks模型仍然有很大的研究空间，可以通过各种改进和方法来提高性能，同时可以将其用于更多的视觉任务中。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值