Simple Pose: Rethinking and Improving a Bottom-up Approach for Multi-Person Pose Estimation

最新推荐文章于 2024-05-25 09:48:05 发布
原创 最新推荐文章于 2024-05-25 09:48:05 发布 · 2k 阅读 · 5 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#Simple Pose

本文深入探讨了底部向上人体姿态估计方法Simple Pose的问题与改进，包括尺度多变性、高分辨率特征图、特征点聚类以及数据不平衡问题。作者提出使用Hourglass网络并结合SE Block进行特征融合，改进关键点和Part Affinity Fields的heatmap生成，以及设计新的损失函数以优化学习困难样本。开源实现可验证其效果。

arxiv: https://arxiv.org/pdf/1911.10529.pdf
github:https://github.com/jialee93/Improved-Body-Parts
原作者在知乎有讲解，链接

既然是Rethinking, 那么就要先只出需要rethinking的内容. 文章主要针对于人体姿态估计中的bottom-up的方法, 提出了关于bottom-up方法里的一些问题的思考:

  1. 人体姿态估计中的尺度多变性. 由于bottom-up的方法是一次性的提取出整张图片上的所有人体的关键点, 而图片中多个人的尺度大小并不是统一的,有的人大有的人小, 这就给算法增加了很大的难处. 图像金字塔或者一些特殊的网络结构(如FPN, hourglass)等都是用来提取多尺度信息的方法
  2. 高分辨率的特征图. 这个特征图不仅是网络的输入图像大小,也是网络的输出图像大小.在HRNet中已经证明了,使用更大的图像size作为输入,保留更高分辨率的feature map作为输出,能够更准确的提取关键点坐标位置.
  3. 特征点的聚类方法. Bottom-up方法是一次性提取出所有人体的所有关键点,那么怎么把属于同一个人的特征点分在一起,而把不同人的特征点分开就很重要.之前的方法有associate embedding, Part affinity fields等方法来解决这个问题
  4. 最后一个也是其它论文经常不关注的一点是数据不平衡问题. 这个数据不平衡是指两个方面:1) 数量少的positive samples VS 数量多的negative samples. 由于目前大部分都是采用回归热力图的方法来计算关键点, 打的label是在关键点处为中心的一个高斯分布, 这
最低0.47元/天 解锁文章
轻量级姿态估计simplepose
jacke121的专栏
11-26 4466
有torch训练： https://github.com/icicle4/SimplePoseJustGaussian mxnet： https://github.com/dog-qiuqiu/Ultralight-SimplePose/blob/master/train_simple_pose.py Android demo： https://github.com/CheungBH/SimplePose_demo_ncnn
yolov5 simplepose人体姿态
jacke121的专栏
07-04 4677
先给效果图： 有时快点，100ms，有时慢，200ms，精度不是特别准。 github地址： https://github.com/liangheming/simple_pose 但是原版没有测试图片或者视频的方法，只有验证精度的方法。 import os import random import time import cv2 import torch from tqdm import tqdm import cv2 as cv import json from pycocoto.
simple-pose-track:姿势跟踪的简单实现
03-12
simple-pose-track:姿势跟踪的简单实现
NCNN部署例程 mxnet-gluoncv之simple_pose
tanmx219的博客
07-20 1180
NCNN在官方源码中有一个例程，simple pose，今天试了一下效果。 整体来说，优化得太过，效果不行。 过程如下。 首先，在gluoncv中转换生成模型pose.param, pose.bin，python 源码如下， 其中，用 export_block('simple_pose_resnet18_v1b', net, preprocess=True, layout='HWC') 转换出来的不能成功部署到NCNN上，所以在python源码中我注释掉了。 # this one works O
简易姿态估计：多人体位检测的智能解决方案 —— SimplePose
gitblog_00035的博客
05-25 774
简易姿态估计：多人体位检测的智能解决方案 —— SimplePose 项目简介 SimplePose 是一个基于 PyTorch 的开源项目，其主要目标是实现高效且精准的多人姿势估计。这个项目源于论文 "Simple Pose: Rethinking and Improving a Bottom-up Approach for Multi-Person Pose Estimation&q...
多人姿态估计反思论文: Simple Pose（一）
m0_37909240的博客
07-20 965
2020/7/20 Hey，这篇论文主要从以下三个方面对多人姿态估计进行了创新： 1、数据预处理（坐标点变换和ground truth heatmap生成）过程中的中心点对齐问题。 2、使用多尺度监督引导网络生成热度图（论文中将此视为空间注意力机制） 3、用于keypoint和body part heatmap监督的损失函数：focal L2 loss 今天先分析一下论文中的数据预处理问题。剩下两个问题接下来两天再详细分析。论文Section Definition of Heatmaps 中强
用于表格检测和结构识别的深度学习研究综述-Deep learning for table detection and structurerecognition: A survey
qq_55888300的博客
01-27 2452
TableSegNet使用较浅的路径来发现高分辨率的表格位置，而使用较深的路径来检测低分辨率的表格区域，将发现的区域分割成单独的表格。为了提高网络学习表格空间排列方面的能力，作者将退化纳入了网络的核心，并创建了一个简单的FPN网络来提高模型的有效性。Y Li[《A gan-based feature generator for table detection》]提供了一种新的网络来生成表格文本的布局元素，并提高规则较少的表格的识别性能。后来，随着更复杂的架构的发展，更多的工作被放到表列和整体结构识别中。
【ECCV2020】接收论文列表part1
TomRen
07-18 7332
ECCV2020 接收论文完整列表 看论文学CV
CVPR 2021最全论文开放下载！附pdf下载链接！
中科院AI算法工程师的博客
06-18 1万+
CVPR 2021最全论文开放，附所有pdf下载链接！
（八：2020.08.27）CVPR 2020 追踪之论文纲要（译）
热门推荐
Jojo论文基地
08-27 1万+
CVPR 2019 追踪之论文纲要（修正于2020.08.27）讲在前面论文目录 讲在前面 论坛很多博客都对论文做了总结和分类，但就医学领域而言，对这些论文的筛选信息显然需要更加精细的把控，所以自己对这1400篇的论文做一个大致从名称上的筛选，希望能找到些能解决当前问题的答案。 论文链接建议直接Google论文名，比去各种论文或顶会网站找不知道快捷多少。 Respect！ 论文目录 论文 概要 12-in-1 - Multi-Task Vision and Language Repre
matlab人头检测的代码-SimplePoseJustGaussian:简单姿势正义高斯
05-24
matlab人头检测的代码用于人体姿势估计和跟踪的简单基准 消息 我们的新作品可在上找到。 我们的HRNet已应用于多种视觉任务，例如和。 我们的新作品已经在发布。 最好的单个HRNet可以在COCO test-dev2017数据集上获得77.0的AP，在MPII测试集上获得92.3％的PCKh@0.5 。 新的存储库还支持SimpleBaseline方法，欢迎您尝试一下。 我们使用此仓库的条目赢得了的赢家！ 我们使用此仓库的条目在！中排名第二。 介绍 这是的官方pytorch实现。 这项工作提供了令人惊讶的简单有效的基准方法，从而有助于启发和评估该领域的新想法。 在具有挑战性的基准上可获得最先进的结果。 在COCO关键点有效数据集上，我们最好的单一模型可达到74.3的mAP 。 您可以使用此存储库重现我们的结果。 提供所有模型用于研究目的。 主要结果 MPII val的结果 拱 头 肩膀 弯头 手腕 时髦的 膝盖 踝 吝啬的 均值@ 0.1 256x256_pose_resnet_50_d256d256d256 96.351 95.329 88.989 83.176 88.420 8
多人姿态估计反思论文: Simple Pose（二）
m0_37909240的博客
07-21 441
2020/7/21 Hey，这篇论文主要从以下三个方面对多人姿态估计进行了创新： 1、数据预处理（坐标点变换和ground truth heatmap生成）过程中的中心点对齐问题。 2、使用多尺度监督引导网络生成热度图（论文中将此视为空间注意力机制） 3、用于keypoint和body part heatmap监督的损失函数：focal L2 loss 当然多尺度监督技术不是这篇论文的首创，但是具体使用方法上与先前的工作不同。生成Hourglass Network整个结构中所有分辨率.
探索高效多人体位估计：SimplePose
gitblog_00083的博客
05-25 514
探索高效多人体位估计：SimplePose 项目介绍 SimplePose是一个基于PyTorch的开源项目，旨在解决多个人体姿势估计问题，特别适用于实时应用。此项目源自于AAAI-2020会议接受的论文《Simple Pose: Rethinking and Improving a Bottom-up Approach for Multi-Person Pose Estimation》，并提供了...
多人姿态估计反思论文: Simple Pose（三）
m0_37909240的博客
07-22 654
2020/7/22 Hey，这篇论文主要从以下三个方面对多人姿态估计进行了创新： 1、数据预处理（坐标点变换和ground truth heatmap生成）过程中的中心点对齐问题。 2、使用多尺度监督引导网络生成热度图（论文中将此视为空间注意力机制） 3、用于keypoint和body part heatmap监督的损失函数：focal L2 loss focal L2 loss提出的动机是用来监督学习两种高斯热图（regression task），并且结合文章提出的关键点和人体部件高斯.
论文阅读《Rethinking and Improving Relative Position Encoding for Vision Transformer》
lzh666hhh的博客
08-19 1961
动机 相对位置编码在自然语言处理任务中被证明是有效的，而在视觉任务中更常见绝对位置编码，那么相对位置编码在视觉任务中是否有用？ 如果有用，是哪些因素起到了作用？ 贡献 验证了相对位置编码的有效性 验证了相对位置编码中不同因素起到的作用 方法 问题一：以前的相对位置编码都依赖于input embeddings，那么编码是否可以独立于输入 探究方法：设计了两种相对位置编码的模式，偏置模式（独立输入）和上下文模式（考虑与查询、键或值的交互） 偏置模式 rij为可学习标量，表示位置i和j之
(17) Bottom-up Higher-Resolution Networks for Multi-Person Pose Estimation
qq_17721239的博客
05-14 602
Bottom-up Higher-Resolution Networks for Multi-Person Pose Estimation 2019 reading time:2019/10/11 论文是CVPR2019的SOTA单人姿态估计的作者，延续其HRNet的研究成果。主要思想就是进一步提高分辨率，HigherHRNet通过对输出的高分辨率feature maps进行deconvo...
rpi4 实现 qiuqiu - Ultralight-SimplePose
J。
05-02 836
qiuqiu Ultralight-SimplePose：https://github.com/dog-qiuqiu/Ultralight-SimplePose 💻​ OS Linux raspberrypi 5.10.60-v8+ #1448 SMP PREEMPT Sat Aug 21 10:48:18 BST 2021 aarch64 GNU/Linux ⚡️ 安装 protobuf sudo apt-get install autoconf automake libtool git clo.
【论文阅读笔记】Rethinking the Heatmap Regression for Bottom-up Human Pose Estimation
时光机 °的博客
04-19 3422
论文地址：https://arxiv.org/abs/2012.15175 代码地址：https://github.com/greatlog/SWAHR-HumanPose 论文总结   本文所针对的问题，是Bottom-up方法中的不同对象尺度会造成的问题。同一张图的不同尺度对象所对应的感受野不同，因此也应该有不同kernel size的高斯核heatmap。所以对于bottom-up方法，尺度适应的heatmap回归方法自适应每个keypoint的标准差，与此同时，提出自适应权重heatmap回归的损失
姿态估计之2D人体姿态估计 - Simple Baseline(SBL)
light169的专栏
05-27 4053
论文地址：Simple Baselines for Human Pose Estimation and Tracking 代码地址：GitHub - leoxiaobin/pose.pytorch: Simple Baselines for Human Pose Estimation and Tracking Simple Baselines，是2018年MSRA的工作，网络结构如下图所示。之所以叫这个名字，是因为这个网络真的很简单。该网络就是在ResNet的基础上接了一个head，这个head仅仅包.
TransUNet: Rethinking the U-Net architecture design for medical image segmentation through
最新发布
06-09
### TransUNet架构设计及其在医学图像分割中的改进 TransUNet 是一种结合了 Transformer 和 U-Net 的混合架构，旨在解决传统卷积神经网络（CNN）在处理长距离依赖和复杂特征时的不足。以下是 TransUNet 的核心设计和改进： #### 1. 架构概述 TransUNet 将 Transformer 引入到传统的 U-Net 结构中，通过以下方式增强其性能： - **Transformer Encoder**：利用多头自注意力机制（Multi-head Self-Attention, MHSA），捕捉全局上下文信息[^4]。 - **Decoder**：采用与 U-Net 类似的解码器结构，结合跳过连接（Skip Connection）恢复高分辨率特征图[^5]。 这种设计使得 TransUNet 能够在保持计算效率的同时，显著提升对复杂医学图像的分割精度。 #### 2. 改进点分析 TransUNet 在医学图像分割任务中引入了以下关键改进： - **长距离依赖建模**：相比于传统的 CNN，Transformer 的自注意力机制能够更好地捕捉图像中的长距离依赖关系，这对于医学图像中需要精确分割的小目标尤其重要[^6]。 - **多尺度特征融合**：通过结合 Transformer 和 CNN 的优势，TransUNet 能够在不同尺度上提取特征，并通过跳跃连接将这些特征有效融合[^7]。 - **轻量化设计**：尽管引入了 Transformer，TransUNet 仍然保持了较低的计算复杂度，这得益于其模块化的设计和高效的实现方式[^8]。 #### 3. 实现细节 以下是 TransUNet 的实现步骤和代码示例： ```python import torch import torch.nn as nn from transformer import Transformer class TransUNet(nn.Module): def __init__(self, img_size=224, patch_size=16, in_channels=3, num_classes=2, embed_dim=768, depth=12, num_heads=12): super(TransUNet, self).__init__() self.encoder = Transformer(img_size, patch_size, in_channels, embed_dim, depth, num_heads) self.decoder = UNetDecoder(embed_dim, num_classes) def forward(self, x): encoded_features = self.encoder(x) # Extract features using Transformer output = self.decoder(encoded_features) # Decode to generate segmentation map return output class UNetDecoder(nn.Module): def __init__(self, input_dim, num_classes): super(UNetDecoder, self).__init__() self.upconv1 = nn.ConvTranspose2d(input_dim, 512, kernel_size=2, stride=2) self.upconv2 = nn.ConvTranspose2d(512, 256, kernel_size=2, stride=2) self.final_conv = nn.Conv2d(256, num_classes, kernel_size=1) def forward(self, x): x = self.upconv1(x) x = self.upconv2(x) x = self.final_conv(x) return x ``` #### 4. 实验结果与比较 实验表明，TransUNet 在多个医学图像分割数据集上表现出色。例如，在 CT 腹部图像分割任务中，TransUNet 的 Dice 系数显著高于传统的 U-Net 和 Attention U-Net[^9]。此外，TransUNet 还展示了良好的泛化能力，能够在不同规模的数据集上保持稳定的性能[^10]。 ---
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值