Heterogeneous Multi-task Learning for Human Pose Estimation with Deep Convolutional Neural Network

最新推荐文章于 2023-11-16 15:15:44 发布
最新推荐文章于 2023-11-16 15:15:44 发布
阅读量2.3k 收藏 4
点赞数
CC 4.0 BY-SA版权
分类专栏： cvpr 文章标签： pose estimation CNN multi-tasks
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/zimenglan_sysu/article/details/50294349
该论文介绍了使用深度卷积神经网络进行人体姿态估计的异构多任务学习方法。首先，通过行人检测裁剪图像，然后在裁剪图像上进行姿态估计。网络输入包括裁剪的图像和关节坐标标签，采用归一化处理。训练过程中，同时优化关节回归器和部分检测器的损失函数。测试时仅使用关节回归器预测结果。这种方法通过多任务学习提高性能，但存在通过全连接层直接回归坐标的问题。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Heterogeneous Multi-task Learning for Human Pose Estimation with Deep Convolutional Neural Network
论文题目Heterogeneous Multi-task Learning for Human Pose Estimation with Deep Convolutional Neural Network,  链接
该篇论文是IJCV 2014的, 文章的核心multi-tasks的joint traning. 
直接看图说话,  该论文的核心思想/步骤可以分为两个components:

  1对图像里面的person进行detection, 以便裁剪出图像里面的人.
        这个显然是必要的, 尤其是图像大而person小, 或者图像里面的人较多时(>= 2 people)
        由于这部分不是该论文里面的重点, 这点在此就不阐述了, 
         有兴趣的童鞋, 可以自行看一些person detection(或者行人检测)的论文之类的.
  2该论文的重头戏, pose estimation in still image. 下面将详细阐述该部分

Pose Estimation:

还是直接看图:
  1上图中输入是裁剪好的图像(根据由human body detector得到的bounding box around the human来获取)
  2 显然输入除了cropped image还需要对应的labels. 这里的labels就是对应cropped image的joints'/parts'的coordinates.
      显然为了获得更好的perfomace, 往往需要对labels进行归一化. 论文里的归一化比较简单:
  
最低0.47元/天 解锁文章

200万优质内容无限畅学
DeepPose: Human Pose Estimation via Deep Neural Networks(精读)
小胜爱捣鼓
08-29 1万+
一.文献名字和作者 DeepPose: Human Pose Estimation via Deep Neural Networks， CVPR2014     二.阅读时间 2014-08-29 三.文献的目的     文献为了解决当前对于姿态估计中只是使用局部的观点来估计关节点的坐标，这样虽然高效，但是，在实际应用中却无法使用。 四.文献的
人体姿态估计综述（Monocular Human Pose Estimation: A Survey of Deep Learning-based Methods）
加油
09-06 6762
1. 总述 1.1 应用 电影和动画 虚拟现实 人机交互 视频监控 医疗救助 自动驾驶 运动动作分析 1.2 挑战 人体姿势估计所面临的挑战主要体现在三个方面： 灵活的身体构造表示复杂的关节间关节和高自由度肢体，这可能会导致自我闭塞或罕见/复杂的姿势。 身体外观包括不同的衣服和彼此相似的部分。 复杂的环境可能会导致前景遮挡，附近人遮挡或类似的部分，各种视角以及相机视图中的截断。 1.3 已有的方法 根据是否使用设计的人体模型，可以将这些方法分为生成方法（基于模型）和判别方法（无模型）。
DeepPose-Human Pose Estimation via Deep Neural Networks
05-21
We propose a method for human pose estimation based on Deep Neural Networks (DNNs). The pose estimation is formulated as a DNN-based regression problem towards body joints. We present a cascade of such DNN regressors which results in high precision pose estimates. The approach has the advantage of reasoning about pose in a holistic fashion and has a simple but yet powerful formulation which capitalizes on recent advances in Deep Learning. We present a detailed empirical analysis with state-ofart or better performance on four academic benchmarks of diverse real-world images.
Learning Human Pose Estimation Features with Convolutional Networks
xuzf 的博客
09-07 728
Learning Human Pose Estimation Features with Convolutional Networks ICLR 2014 arXiv 原文链接 Abstract 作者介绍了一种使用多层卷积网络结构的人体姿势估计模型，以及可学习低层特征和高层弱空间模型的改进的学习方法。 文章主要贡献： 首次展示深度学习模型能很好地完成无约束的姿态估计任务。 发现在仅覆盖图像上几个像素的区域上就可以学习强大的低级特征检测器 作者以 bottom-up 模型和弱空间模型超过了当时最佳模型 1
DeepPose: Human Pose Estimation via Deep Neural Networks
06-05
《DeepPose ： Human Pose Estimation via Deep Neural Networks 》原始论文，其为第一篇应用深度神经网络于姿态估计领域（Human Pose Estimation）的文章。发表于CVPR2014。
姿态估计 - Human Pose Estimation Papers
长风破浪会有时，直挂云帆济沧海
10-11 9894
人体姿态估计 - Human Pose Estimation PapersSingle Person Human Pose Regression by Combining Indirect Part Detection and Contextual Information - 2017 [Paper] [Code] Self adversarial training for human pose e
Deep learning_CNN_Review：A Survey of the Recent Architectures of Deep Convolutional Neural Networks—...
Alliswell_WP
11-08 2627
CNN综述文章的翻译 [2019 CVPR] A Survey of the Recent Architectures of Deep Convolutional Neural Networks 翻译 综述深度卷积神经网络架构：从基本组件到结构创新 目录 摘要 1、引言 2、CNN基本组件 2.1 卷积层 2.2 池化层 2...
2021_WWW_Self-Supervised Multi-Channel Hypergraph Convolutional Network for Social Recommendation
weixin_46645827的博客
01-13 6420
[论文阅读笔记]WWW_2021_
姿态识别入门 DeepPose: Human Pose Estimation via Deep Neural Networks
header_zzj的博客
05-13 3254
文章提出了一个基于深度神经网络（DNNs）的人体姿态估计方法，利用几个DNN回归结果的级联，能产生高质量的姿势估计结果。整体方法由于深度学习具有强大且简单的表达方式而在姿态推理的方向上具有优势。
姿态识别（1）：DeepPose ： Human Pose Estimation via Deep Neural Networks
热门推荐
专注！切记浮躁
05-07 3万+
这篇文章是使用深度学习网络处理人体关节点定位的第一篇文章，发表于2014，August 20. 作者使用了级联的卷积神经网络来预测人体关节点。 1 研究背景 人体姿态识别被定义为人体关键点的定位问题，一直以来是计算机视觉领域的重要关注点。这一问题有着一些常见的挑战，比如各式各样的关节姿态，小得难以看见的关节点，遮蔽的关节点，需要根据上下文判断的关节点，而这个领域主流的工作是各式样的关节姿态...
笔记：PoseCNN:A Convolutional Neural Network for 6D Object Pose Estimation in Cluttered Scenes
kadima_WEI的博客
12-23 1395
一种新的用于6D物体姿态估计的卷积神经网络PoseCNN
论文阅读：Multi-Task Convolutional Neural Network for Pose-Invariant Face Recognition
sinat_29381299的博客
10-19 1262
概述： TIP2018的文章，实现的是基于Multi-task的网络实现大pose的人脸识别。 作者： url： https://ieeexplore.ieee.org/document/8080244 Motivation： Multi-task（MTK）的网络对于task之间往往会相互促进。人脸识别任务可以分为主任务：抛开pose/光照/表情的人脸识别，以及pose光照表情...
论文笔记《PoseCNN：A Convolutional Neural Network for 6D Object Pose Estimation in Cluttered Scenes》
丶Karl的博客
11-16 502
PoseCNN：基于卷积神经网络的6D目标姿态估计。
论文阅读笔记《PoseCNN: A Convolutional Neural Network for 6D Object Pose Estimation in Cluttered Scenes》
深视
12-29 4152
核心思想   本文提出一种基于卷积神经网络的物体分割与位姿估计的方法（PoseCNN）。如下图所示，输入图像经过卷积层特征提取之后，分成三个任务分支：语义分割、平移矩阵预测和旋转矩阵（四元数）预测。最后结合三个分支的预测结果，得到每个物体的位姿估计。   语义分割分支采用了常见的全卷积神经网络方法。平移矩阵的预测并不是直接通过回归的形式输出中心点坐标，因为这种方法当中心点被遮挡时容易失效。而是预测物体上的每个点和中心点之间的连线方向，并预测每个点的深度值，通过投票的方式得到每个物体点的中心点坐标，然后根据
身体姿势估计 - Human Pose Estimation
MyArrow的专栏
07-19 7879
1. 简介    人体姿势估计主要采用：数据驱动、从下到上的方法；在此方法中，像素被独立地标记为身体的某一部分，或投票决定关节的位置。
Multi-Task Convolutional Neural Network for Face Recognition阅读笔记
qq_27391963的博客
05-16 2158
1.论文简介 ●单任务学习：输入一个pose给出一个ID，通过训练得到模型，每个pose照片和ID得到一种映射关系，没有体现出同一个人之间的关联性，也没有区分开不同人之间的区别性； ●多任务学习：给出一个人的多角度照片，一起训练一个人的多张不同pose照片，这样得到的特征就融合了一个人的多pose的特征，同时也把不同ID特征很好的区分开；●现在解决人脸识别效果的普遍方法是： 提升基
基于深度学习的位姿估计方法
weixin_39455125的博客
11-19 3178
A Multi-task Learning Convolutional Neural Network for Object Pose Estimation （Proceeding of the IEEE International Conference on Robotics and Biomimetics） 1.端到端网络结构：目标检测与分割网络+位姿估计网络 1）目标检测与分割网络：采用Mask R-CNN网络 2）位姿估计网络：先使用VGG16进行特征提取，再与Mask R-CNN网络输出的语义分割掩
Learning Spatiotemporal Features with 3D Convolutional Networks 读书笔记
Struggling_orange的博客
07-30 1975
  最近读了Learning Spatiotemporal Features with 3D Convolutional Networks这篇文章，下面对文章内容进行简要概括。 摘要   摘要主要介绍在大规模有监督的视频数据集下训练出了一种简单且高效的三维卷积神经网络的方法来学习时空特征。且此发现具有三重的效果：   1）相比较于二维，三维卷积神经网络更适合于时空特征   2）在三维卷积神...
Optimal Task Allocation for Heterogeneous Multi-robot Teams with Battery Constraints
最新发布
04-01
### 关于异构多机器人系统的最优任务分配算法 在研究领域中，针对具有电池约束条件下的异构多机器人系统（Heterogeneous Multi-Robot Systems, HMRS），其任务分配问题通常被建模为一种优化问题。这类问题的目标是在满足能量消耗限制的同时最大化整体性能指标，例如完成时间、路径长度或资源利用率。 #### 数学模型与目标函数 此类问题的核心在于构建合适的数学模型来描述机器人的能力差异以及任务需求之间的匹配关系。一般情况下，可以采用线性规划（Linear Programming, LP）、整数线性规划（Integer Linear Programming, ILP）或者混合整数非线性规划（Mixed Integer Nonlinear Programming, MINLP）等方法进行求解[^1]。具体而言： - **决策变量**：定义哪些机器人执行特定的任务。 - **约束条件**：包括但不限于每台设备的最大工作时长、剩余电量水平以及其他物理特性限制。 - **目标函数**：旨在最小化总成本（如能耗总量）或最大化收益（如任务成功率）。 对于带有电池容量限制的情况，可以通过引入额外的状态变量表示当前时刻各单元所剩电力，并将其纳入到上述框架之中作为附加不等式项加以考虑[^2]。 #### 实现技术与工具支持 为了有效解决实际应用中的复杂场景，研究人员开发了一些专门用于训练人工智能代理并模拟真实环境交互过程的学习平台，比如提到过的 PrimAITE 系统提供了初级阶段的人工智能教学环境，在这里学生能够通过编程实践探索不同策略的效果对比分析 。尽管该平台主要面向教育用途设计，但它同样适用于验证新型调度逻辑的有效性和可行性测试。 另外值得注意的是，随着强化学习(Reinforcement Learning ,RL ) 技术的发展进步 ，也有不少学者尝试利用深度 Q 学习网络 (Deep Q-Network,DQN) 或者其他变体形式来进行动态调整参数权重从而获得更优解方案 的可能性探讨 。 ```python import numpy as np def optimal_task_allocation(robots,battery_levels,tasks,dist_matrix): """ A simple greedy algorithm example for task allocation. Parameters: robots(list): List of robot capabilities. battery_levels(list): Remaining battery levels per robot. tasks(list): Task requirements. dist_matrix(np.ndarray): Distance matrix between all pairs. Returns: list: Allocated tasks to each robot based on given criteria. """ allocations = [-1]*len(tasks) remaining_batteries=battery_levels.copy() while any(t==-1 for t in allocations)and min(remaining_batteries)>0 : best_pair=None max_utility=-float('inf') for r_idx,r_capa in enumerate(robots): if remaining_batteries[r_idx]==0:continue for t_idx,(t_req,is_allocated) in enumerate(zip(tasks,allocations)): if is_allocated != -1 : continue utility=compute_utility(r_capa,t_req,dist_matrix[r_idx][t_idx]) if utility>max_utility and can_perform_task(battery_levels[r_idx],dist_matrix[r_idx][t_idx]): max_utility=utility best_pair=(r_idx,t_idx) if not best_pair:return allocations ri,ti=best_pair allocations[ti]=ri consume_battery(&remaining_batteries[ri],dist_matrix[ri][ti]) return allocations def compute_utility(robot_capability,task_requirement,distance)->float: pass # Placeholder function; implement according specific needs. def can_perform_task(current_battery_consumption,distance_travelled)->bool: pass # Check feasibility considering distance vs available power. def consume_battery(battery_ref,distance_traveled): *battery_ref -= calculate_energy_cost(distance_traveled)* ```
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值