HumanPoseEstimation
关注
分享
扫一扫
文章平均质量分 55
MatthewHsw
搬砖新兵
展开
-
Towards Accurate Human Pose Estimation in Videos of Crowded Scenes
ACM MM 2020 人体姿态估计挑战赛的第二名，作者来自新加坡国立大学和依图实验室。作者列表里有个熟悉的名字 Xuecheng Nie，就是之前 SPM 模型的一作。附 ACM MM 2020 人体姿态挑战赛的leaderboard，话说参赛人员数量不高啊~~~文章整体流程图如下图所示，因为是刷榜打比赛，所以不考虑速度，只考虑精度，所以各个模块的模型都是用了很大的模型。整体有三个大的模块，分别是：1）human detector 2）pose estimator 3）optical flow smoo原创 2020-10-24 20:54:01 · 461 阅读 · 0 评论 -
Whole-Body Human Pose Estimation in the Wild
财大气粗的商汤出的第一个全身关键点数据集，直接对COCO数据集进行了扩展，将脸上的68个点，躯干的23个点（body17+feet6），以及手的23个点全部进行了标注，并将label进行了开源，地址：https://github.com/jin-s13/COCO-WholeBody，果然是大佬风范，佩服三连~除了很????的推出了第一个large-scale whole body pose dataset，还针对如何训练whole body pose提出了ZoomNet，网络结构如下所示：因为face原创 2020-09-02 20:58:05 · 1391 阅读 · 2 评论 -
Multi-Person Pose Regreesion via Pose Filtering and Scoring
大连理工大学出的一篇基于bottom-up方法的多人人体姿态估计。整体思路和SPM很像，主要有以下几点不同：没有像SPM那样预先定义好的人体多级连接结构，而是类似于centernet一样，直接从一个中心点回归所有的pose offset中心点不仅仅是一个点，而是位于人体中心的一块区域。人体中心不再是通过box的中心确定，而是通过人体姿态组成的最小box来确定，这样保证中心点更合理，如图所示训练时是用了个refine module来进一步优化pose，送进refine module的是通过OKSFil原创 2020-07-26 21:26:05 · 383 阅读 · 0 评论 -
Point-Set Anchors for Object Detection, Instance Segmentation and Pose Estimation
微软亚洲研究院新出的一篇很有意思的文章，从另外一个角度统一了object detection、instance segmentation、pose estimation。对于object detection和pose estimation任务而言，之前有过像CenterNet、SPM等通过检测中心点回归的方法来统一这两个方向的任务，但作者认为这样做有一些问题：仅仅使用中心点做回归能够利用的特征信息太少。像CenterNet，通过中心点回归object的中心点和宽高，如果是人的话，还可以回归N个关键点，这原创 2020-07-18 17:24:45 · 1094 阅读 · 0 评论 -
BlazePose: On-device Real-time Body Pose tracking
（吐槽：标题为啥最后一个单词是tracking而不是Tracking）谷歌研究院提出的用于边缘设备上运行的单人人体姿态估计算法，思路很清奇，和之前的做法有很大的不同。使用face detector检测人体而不是body detector。作者发现，使用body detector的话受场景中密集人群遮挡的影响，而且遮挡严重状态下，body detector的confidence值不会很高。而人的头部一是不容易被遮挡，二是在神经网络中该出的响应值往往是最高的。因为，文章使用了一个face detect，并原创 2020-07-15 20:46:17 · 3642 阅读 · 0 评论 -
RePose: Learning Deep Kinematic Priors for Fast Human Pose Estimation
单人pose模型文章，提出了一种基于kinematic structure来辅助模型对关键点进行定位，整体结构如下：模型是一个仿U-Net结构的网络结构，忽略U-Net的底部，先看下输出，模型会在不同的scale下进行upsample到原图分辨率大小进行heatmap输出，所以是个包含有多个loss的网络结构，重点看下上图中的绿色部分，也即是文章提出的Kinematic Features Updates结构。Kinematic Features Updates这个结构相当于是根据先验知识对人体姿态进行原创 2020-06-05 14:15:45 · 714 阅读 · 0 评论 -
HigherHRNet: Scale-Aware Representation Learning for Bottom-Up Human Pose Estimation (CVPR2020)
official pytorch codepaper link恭喜文章被CVPR 2020接收。本来19年的时候在arxiv上找到了这篇文章，当时还是叫做"Bottom-up Higher-Resolution Networks for Multi-Person Pose Estimation"，今天一看arxiv上已经更新到v3了，名字也改了。HigherHRNet是在HRNet和Simp...原创 2020-03-13 23:25:45 · 3194 阅读 · 0 评论 -
Simple Baselines for Human Pose Estimation and Tracking
官方github文章地址原创 2020-03-12 23:26:05 · 1959 阅读 · 0 评论 -
Learning Delicate Local Representations for Multi-Person Pose Estimation
arxivofficial pytorch implemention旷视研究院最新关于人体姿态估计的力作，最优模型在COCO test-dev刷到了79.2，rank no.1，关键还是几位实习生做的，还是个98年的大佬～～前言人体姿态估计是一个对位置精度要求很高的任务，它不像图像分类对location信息要求不那么严格，而是和语义分割一样，准确的location信息对它帮助很大。之前的很...原创 2020-03-11 21:00:56 · 3010 阅读 · 12 评论 -
Convolution Pose Machines (CPM)
https://arxiv.org/pdf/1602.00134.pdfCPM基本上可以算是第一个end-to-end的单人姿态全卷积神经网络（同时期还有个Hourglass，两者时间差不多）。CPM是在之前PM(Pose Machines)基础上，加入卷积神经网络得到，CPM整体流程如下所示：（a）和（b）就是PM中的结构，（c）（d）则是CPM对应（a）（b）做的改进。CPM分为多个sta...原创 2020-03-08 14:07:00 · 594 阅读 · 0 评论 -
Benchmarking and Error Diagnosis in Multi-Instance Pose Estimation
这篇文章不是介绍怎么设计网络去提高多人姿态检测在数据集上的mAP值，而是去找出姿态估计算法为啥得分这么低的原因，更直白的讲就是，这个模型效果不好，这个效果不好具体是哪些地方效果不好，文章探究的是这个更底层的原因，而不是简单粗暴的堆trick提高mAP。文章是2017年发表的，当时比较出名的两个多人人体姿态估计网络是Google的GRMI和CMU的OpenPose，文章就是根据这两个模型来查找原因。...原创 2020-03-07 15:36:15 · 616 阅读 · 0 评论 -
Simple Pose: Rethinking and Improving a Bottom-up Approach for Multi-Person Pose Estimation
arxiv: https://arxiv.org/pdf/1911.10529.pdfgithub:https://github.com/jialee93/Improved-Body-Parts既然是Rethinking, 那么就要先只出需要rethinking的内容. 文章主要针对于人体姿态估计中的bottom-up的方法, 提出了关于bottom-up方法里的一些问题的思考:人体姿...原创 2019-12-10 15:06:27 · 1971 阅读 · 0 评论 -
Single-Stage Multi-Person Pose Machines
昨天在arxiv上发现的一篇非常有意思的论文，特来记录一下，惯例发链接为什么文章叫Single-Stage，首先，针对多人pose这方面，主流的方法分为两类：Top-Down solution。先用一个detector检测出来图像上的所有行人，然后针对每一个检测的出来的human box，做单人pose预测，总共需要2步Bottom-Up solution。先用一个cnn检测出来图像上所有...原创 2019-09-04 19:38:17 · 3275 阅读 · 12 评论 -
OpenPifPaf: encoder过程
OpenPifPaf 的encoder过程图像预处理源代码train.py中给出了两个方案,一个是带有data augmentation的, 一个是不带的, 因为图像预处理无非是对图像和对应的label进行处理使其满足网络的输入条件, 因此就以不带data augmentation的预处理过程简单梳理下.首先是读入传入的coco label, 根据传入的coco label, 使用PIL ...原创 2019-06-28 16:10:41 · 2708 阅读 · 2 评论 -
FCOS: Fully Convolution One-Stage Object Detection
今年的CVPR目标检测方向出现了很多类似anchor-free的工作, 先挑一篇看着比较新颖的文章读一下arxiv地址: https://arxiv.org/abs/1904.01355github地址: https://github.com/tianzhi0549/FCOS既然是anchor-free, 那么就得说明白为啥要anchor-free. 文章列了几个anchor-based d...原创 2019-04-17 19:41:13 · 1277 阅读 · 0 评论 -
PifPaf: Composite Fields for Human Pose Estimation
发表于arxiv, 一个bottom-up的方法, 用来预测单张图片中多个人体的关节点位置, 已开源arxiv地址: https://arxiv.org/abs/1903.06593github地址: https://github.com/vita-epfl/openpifpafcontributionbottom-up, box-free, end-to-end cnn arc...原创 2019-03-28 11:21:17 · 5007 阅读 · 6 评论 -
DropBlock： A regularization method for convolutional networks
arxiv上一篇新文章，讲如何在卷积层进行dropout来防止网络过拟合。原来的dropout方法多是作用在全连接层上，在卷积层应用dropout方法意义不大。文章认为是因为每个featuremap的位置都有一个感受野范围，仅仅对单个像素位置进行dropout并不能降低featuremap学习的特征范围，也就是说网络仍可以通过该位置的相邻位置元素去学习对应的语义信息，也就不会促使网络去学习更加鲁...原创 2018-11-01 10:50:11 · 2908 阅读 · 1 评论 -
人体关键点评价指标---OKS计算
转载自知乎OKS, object keypoint similarity, 即关键点相似度. 在人体关键点评价任务中,对于网络得到的关键点好坏,并不是仅仅通过简单的欧氏距离来计算的,而是有一定的尺度加入,来计算两点之间的相似度. 公式:OKSp=∑i{−dp22/2Sp2σi2}δ(vpi=1)∑iδ(vpi=1)OKS_{p} = \frac{\sum_{i}\{-d^{2}_{p^{2}}...转载 2018-11-07 17:10:29 · 16749 阅读 · 7 评论 -
FPD: Fast Human Pose Estimation
文章地址:arxiv这篇文章是电子科技大学和visionsemantics实验室联合发布的一篇文章.文章目的:人体姿态估计经过近几年的发展,在精度方面已经做的挺不错了,但越高的精度就意味着越深越宽的网络. 这样就造成了一个问题, 现有的state-of-the-art的模型没有办法在轻量级的设备上跑,例如普通的手机,没有很好的GPU的电脑等等. 文章的目的就是为了能够得到一个很轻量级的模型,...原创 2018-11-16 17:30:27 · 2440 阅读 · 0 评论 -
Multi-Domain Pose Network for Multi-Person Pose Estimation and Tracking
字节跳动公司在arxiv上发的一篇文章,感觉还挺有意思的.主要内容针对多人关键点预测,目前主流的方法都是深度学习方法,而现有的深度学习方法离不开大规模数据集的支持. 多人关键点的数据集目前有COCO, MPII, Ai-Challenger, Posetrack等等,这些数据集的标注样式以及数据集来源都不一样. 目前的多人关键点模型在做训练的时候,常用的方法是现在某个数据集上先做初始化训练,然...原创 2018-12-03 15:19:16 · 659 阅读 · 0 评论 -
Real-time 2D Multi-Person Pose Estimation on CPU: Lightweight OpenPose
Lightweight OpenPose:OpenPose很好,目前在多人目标关键点检测方面基本已经成为一个baseline. 但原始的openpose需要很好的显卡参与计算,或者说目前大部分关键点检测网络都是依赖于GPU的.这篇文章就提出如何基于OpenPose的设计思路,设计一个可以在纯CPU上实时跑的多人关键点检测网络,作者命名为"Lightweight OpenPose".首先简单介绍...原创 2018-12-03 20:07:09 · 4891 阅读 · 15 评论 -
CrowdPose: Efficient Crowded Scenes Pose Estimation and A new Benchmark
arxiv上交卢策武团队新出的关于多人pose的文章.和alphapose一样属于top-down的方法.该文并没有着重于设计新的网络结构,而转向于设计新的label和loss计算方式,从而提高原有的网络pose检测能力.首先文章指出, 多人pose这部分已经发展的很快,并且效果也挺好.但目前而言,所有的多人pose都是在类似于公开的COCO, MPII, ai-challenger等这些数据...原创 2018-12-10 15:05:59 · 2688 阅读 · 0 评论 -
PoseFix: Model-agnostic General Human Pose Refinement Network
arxiv上新放出的一篇pose refine的文章. 类似于top-down的方法,只针对单个人的pose refine操作. 多人的pose refine可以通过分别对单人的pose refine操作完成.文章的意思很明确,就是对目前所有pose模型的输出做refine. 根据另外一篇文章的说法,目前基本上所有的pose estimation模型的得到的pose都是存在特定的误差分布的. 这...原创 2018-12-18 20:11:40 · 1473 阅读 · 0 评论 -
Human Poe Estimation with Spatial Contextual Information
文章地址链接:arxiv百度研究院和香港科技大学联合出品的一篇单人pose检测文章.主要创新点有两个:提出了Cascade Prediction Fusion网络用来预测关键点提出了Pose Graph Neural Network, 用来对1预测的关键点进行修正第二个创新点用到了GRU及一些图的知识, 不是很了解,重点讲下第一个创新点.现有的pose estimation网络,自从...原创 2019-01-11 15:52:13 · 1975 阅读 · 0 评论 -
Rethinking on Multi-Stage Networks for Human Pose Estimation
无聊翻arxiv发现的文章,先放地址: 文章地址. 本来一开始觉得是和凯明大神那篇’rethinking imagenet pretrain’ 文章一样,干货满满, 读完之后略有失望.这篇文章是Face++团队出品的,旨在设计出一个好的multi-stage的pose 检测. 这篇文章的主要目的,是为了设计一个随着网络stage数目增加, 模型的预测能力逐步提高的网络. 而不是像之前的hourg...原创 2019-01-08 16:08:00 · 2624 阅读 · 5 评论 -
Deep High-Resolution Representation Learning for Human Pose Estimation
推荐一篇文章:Deep High-Resolution Representation Learning for Human Pose Estimation, 已开源, 效果看非常不错.附上公众号"我爱计算机视觉"的解读: 链接转载 2019-02-28 20:22:13 · 894 阅读 · 0 评论 -
[OpenPose翻译] Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields ∗原文翻译（注释版）
转载自here, 写的非常好. 论文原文地址：https://arxiv.org/abs/1611.08050（在网页右上角附近，有“PDF”字样，点击即可下载）本论文有提供代码，最新网址：https://github.com/CMU-Perceptual-Computing-Lab/openpose代...转载 2019-03-11 10:19:03 · 1449 阅读 · 0 评论 -
Learning to Refine Human Pose Estimation
翻到的一篇18年的老文章, 讲的是如何对关键点预测网络预测出的关键点进行修正, arxiv链接.论文目的对已有的pose estimation model产生的pose进行修正论文方法训练一个新的模型, 来对某个pose estimation model产生的pose进行修正, 新模型文章命名为 PoseRefiner.输入: 原始图片Image, 原始图片Image与其经过pose ...原创 2019-03-11 18:34:57 · 1497 阅读 · 2 评论 -
Towards Accurate Multi-person Pose Estimation in the Wild
一篇比较老的文章, CVPR 2017的, 链接地址概括论文采用了top-down的方法, 即先检测出人, 然后再坐单人pose检测. 检测人的方法使用了faster-rcnn, 单人pose方法是已reset结构为基础的网络. 关于faster-rcnn我不是很了解而且网上介绍很多, 略去不表, 下面着重介绍pose检测这块.pose estimationperson box cro...原创 2019-03-22 20:51:34 · 1564 阅读 · 0 评论 -
MultiPoseNet论文解读及复现
MultiPoseNet: Fast Multi-Person Pose Estimation using Pose Residual Network.原文链接PRN网络论文思路大致解读论文提出的网络结构大概分成三部分：首先第一部分是Backbone网络，用于提取图片在多尺度下的特征；第二部分包括两个分开、独立的网络，其中一个用来检测图片中所有的人体关键点（keypoint_subn...原创 2018-10-23 21:15:43 · 5324 阅读 · 10 评论