Knowledge Distillation(9)——Fast Human Pose Estimation

最新推荐文章于 2024-08-21 08:37:53 发布
原创 最新推荐文章于 2024-08-21 08:37:53 发布 · 463 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#DL #CV

本文探讨了在pose估计领域中，如何通过中继监督改进Hourglass模块的表现，并引入硬标签与教师软输出的结合，以提升模型训练效果。文章深入分析了这一创新思路，并总结了前人的研究与见解。

如果这一系列博客之前的都有看了，且有了解过pose领域的hourglass，
这篇文章的idea就很清晰了：

在这里插入图片描述
对每个hourglass module的中继监督，同时加入hard label&teacher’s soft output
在这里插入图片描述
关于文章的一些思考，一些别人的博客翻译总结的很好：
在这里插入图片描述
在这里插入图片描述

FPD: Fast Human Pose Estimation
Matthew技术小站
11-16 2524
文章地址:arxiv 这篇文章是电子科技大学和visionsemantics实验室联合发布的一篇文章. 文章目的: 人体姿态估计经过近几年的发展,在精度方面已经做的挺不错了,但越高的精度就意味着越深越宽的网络. 这样就造成了一个问题, 现有的state-of-the-art的模型没有办法在轻量级的设备上跑,例如普通的手机,没有很好的GPU的电脑等等. 文章的目的就是为了能够得到一个很轻量级的模型,...
姿态估计的模型评估_快速人体姿态估计：CVPR2019论文阅读
weixin_32127545的博客
01-30 1797
快速人体姿态估计：CVPR2019论文阅读Fast Human Pose Estimation论文链接：http://openaccess.thecvf.com/content_CVPR_2019/papers/Zhang_Fast_Human_Pose_Estimation_CVPR_2019_paper.pdf摘要现有的人体姿态估计方法通常只考虑如何提高模型的泛化性能，而忽略了显著的效率问题。...
Fast Human Pose Estimation
u010848594的博客
05-31 2207
基于Hourglass的一种轻量网络，特点：轻量，易训练 知识蒸馏，有一个老师模型，然后训练轻量的学生模型，这样会更快 3.1网络结构：相比于沙漏网络，stage砍半，channel砍半，就没其它改变了 3.2LOSS是两部分，一部分是老师的预测结果，一部分是GT 感觉作者的remark就是在扯淡。 还给了个MSE和交叉熵LOSS，结果差不多 作者还给了不用知识蒸馏结果也在一个点的...
快速入门 Fast Human Pose Estimation.PyTorch
gitblog_00458的博客
08-21 452
快速入门 Fast Human Pose Estimation.PyTorch 项目介绍 Fast Human Pose Estimation.PyTorch 是一个基于 PyTorch 的人体姿态估计开源项目，旨在提供一个高效且易于部署的人体关键点检测解决方案。该项目利用深度学习技术，特别是卷积神经网络（CNN），来识别图像中人体各关节的位置。它支持快速训练和推理，非常适合实时应用，如视频分析、...
【论文阅读笔记CVPR 2020】Lightweight 3D Human Pose Estimation Network Training Using Teacher-Student Learnin
qq_39820716的博客
09-03 957
Introduction: 随着AR/VR领域的发展，动作捕捉的发展蒸蒸日上，尤其在移动端的需求会日益增加。传统的动作捕捉系统非常依赖于穿戴设备和环境，成本过高。随着深度学习的发展，人体姿态预测发展迅速。 Novelty: apply knowledge distillation from 2D pose estimation in 3D pos estimation. Contributions: 设计了MoVNect，一个可以实时在有限资源硬件（例如手机）上运行的轻量级3D人体姿态预测模型； 提出一个
人体姿态估计综述（Monocular Human Pose Estimation: A Survey of Deep Learning-based Methods）
加油
09-06 6869
1. 总述 1.1 应用 电影和动画 虚拟现实 人机交互 视频监控 医疗救助 自动驾驶 运动动作分析 1.2 挑战 人体姿势估计所面临的挑战主要体现在三个方面： 灵活的身体构造表示复杂的关节间关节和高自由度肢体，这可能会导致自我闭塞或罕见/复杂的姿势。 身体外观包括不同的衣服和彼此相似的部分。 复杂的环境可能会导致前景遮挡，附近人遮挡或类似的部分，各种视角以及相机视图中的截断。 1.3 已有的方法 根据是否使用设计的人体模型，可以将这些方法分为生成方法（基于模型）和判别方法（无模型）。
姿态估计 - Human Pose Estimation Papers
长风破浪会有时，直挂云帆济沧海
10-11 9926
人体姿态估计 - Human Pose Estimation PapersSingle Person Human Pose Regression by Combining Indirect Part Detection and Contextual Information - 2017 [Paper] [Code] Self adversarial training for human pose e
6D-VNet:End-to-End 6DoF Vehicle Pose Estimation from Monocular RGB Images
WangKingJ的博客
12-29 1706
Abstract   我们提出了一个概念上简单的6DoF姿态估计网络，尤其是对于自动驾驶场景。在一个单目RGB图像上，我们的方法能够有效的检测交通工具，同时回归它们的三维平移和旋转向量。这个方法叫做6D-VNet，在Mask R-CNN上扩展了一个定制的投网络，以用于检测更好的车辆类比，旋转和平移。与以往的方法相比，本文提出的6D-VNet是端到端训练的。此外，我们表明，在联合损失中包括平移回归对...
Pytorch实现快速人体姿势估计与知识蒸馏
快速人体姿势估计（Fast Human Pose Estimation） 快速人体姿势估计指的是优化了速度与性能的姿势估计算法，这类算法旨在实现实时或接近实时的性能，同时也尽可能保证准确度。这对于需要快速响应的应用（如直播视频...
Fast_Human_Pose_Estimation_Pytorch:CVPR2019文件的“ Pytorch代码”“快速人体姿势估计” https
05-04
快速人体姿态估计火炬 这对于论文“来说是非官方的实现。 大部分代码来自用于沙漏网络pytorch实现。 在此仓库中，我们遵循了“快速人体姿势估计”提出的“快速姿势蒸馏”方法，以提高轻量级网络的准确性。 我们首先训练了一个深层的教师网络（堆栈= 8，标准卷积，为88.33 @Mpii pckh），并用它来教授学生网络（堆栈= 2，深度卷积，为84.69％@Mpii pckh）。 我们的实验表明，从知识蒸馏中获得了0.7％的收益。 我对轻型学生模型hg_s2_b1_mobile_fpd进行了基准测试，并通过OpenVino在i7-8700K上获得了43fps 。 可以从找到详细信息 请通过检查官方实施 2019年2月更新 通过使用上传的额外未标记图像hg_s2_b1_mobile_fpd_unlabeled训练的模型显示，教师从未标记数据上转移的知识可hg_s2_b1_mobile_fpd_
手肘法matlab源码-fast-human-pose-estimation.pytorch:CVPR2019论文《快速人体姿势估计》的官方p
05-20
手肘法matlab源码快速人体姿势估计CVPR2019 介绍 这是的官方pytorch实现。 在这项工作中，我们专注于两个问题 如何使用与模型无关的方法来减小模型大小和计算。 如何提高简化模型的性能。 在我们的论文中 我们通过减少网络的宽度和深度来减少模型的大小和计算量。 提出快速姿势精馏（ FPD ）以改善简化模型的性能。 MPII数据集上的结果证明了我们方法的有效性。 我们使用HRNet代码库重新实现了FPD，并在COCO数据集上提供了额外的评估。 我们的方法（FPD）可以在没有地面标签的情况下工作，并且可以利用未标记的图像。 对于MPII数据集 我们首先训练了一个教师模型（沙漏模型，堆栈= 8，num_features = 256，90.520 @ MPII PCKh@0.5）和一个学生模型（沙漏模型，堆栈= 4，num_features = 128，89.040 @ MPII PCKh@0.5）。 然后，我们使用教师模型的预测和真实标签来共同监督学生模型（沙漏模型，堆栈= 4，num_features = 128，87.934 @ MPII PCKh@0.5）。 我们的实验显示
轻量级人体姿态估计lightweight-human-pose-estimation.rar
06-29
轻量级人体姿态估计lightweight-human-pose-estimation.rar
【论文阅读笔记】Fast Human PoseEstimation
时光机 °的博客
07-02 856
论文地址：https://arxiv.org/abs/1811.05419v1 github网址：https://github.com/ilovepose/fast-human-pose-estimation.pytorch 全文总结   该论文并未提出啥有意思的东西，总体就是知识蒸馏和**“自定义模型压缩”**的应用，提供一个思路。   该方法名为 FTD，Fast Pose Distillation，也就是知识蒸馏应用在pose检测上的意思。 文章内容介绍   文中的方法应用对象为Hourglass网络
Pose论文阅读：Fast Human Pose Estimation
b_lack的博客
08-21 1093
Fast Human Pose Estimation Abstruct 现在的Pose框架虽然精度以及泛化能力已经不错，但是模型过于复杂，使得参数量以及部署时消耗的内存过大。 这篇文章就是通过牺牲极少部分的精度来达到大幅度减少内存的消耗的目的。作者主要是通过用训练好的教师网络（大网络）将知识传递给学生网络（小网络）来实现这一目的，他们称他们的方法为Fast Pose Distillation（F...
(8) Human Pose Estimation : Fast Human Pose Estimation : CVPR 2019
qq_17721239的博客
09-11 511
Human Pose Estimation : Fast Human Pose Estimation CVPR 2019 reading time : 2019/09/10 paper address :https://arxiv.org/pdf/1811.05419.pdf 本文针对的是目前人体姿态研究往往只考虑模型的泛化，提高performance。而很少研究效率问题。 结构：Fa...
探索高效人体姿态估计：fast-human-pose-estimation.pytorch
gitblog_00020的博客
04-26 473
探索高效人体姿态估计：fast-human-pose-estimation.pytorch 项目简介 在计算机视觉领域，人体姿态估计是一项重要任务，它涉及到识别和定位图像中人物的关键关节位置。 是一个基于PyTorch实现的轻量级、高效的实时人体姿态估计算法。该项目旨在提供一个快速且易于使用的解决方案，让开发者能够轻松集成到自己的应用中。 技术分析 该模型采用了一种深度学习的方法，基于经典的Hou...
人体姿态fast-human-pose-estimation.pytorch
jacke121的专栏
11-06 3263
下面两个指向同一篇论文，权重100m： 这个没跑起来： 现在测的都不准，可能代码不对 256*256的图像要100ms， https://github.com/ilovepose/fast-human-pose-estimation.pytorch 256*256 这个需要160ms https://github.com/yuanyuanli85/Fast_Human_Pose...
RePose: Learning Deep Kinematic Priors for Fast Human Pose Estimation
Matthew技术小站
06-05 788
单人pose模型文章，提出了一种基于kinematic structure来辅助模型对关键点进行定位，整体结构如下： 模型是一个仿U-Net结构的网络结构，忽略U-Net的底部，先看下输出，模型会在不同的scale下进行upsample到原图分辨率大小进行heatmap输出，所以是个包含有多个loss的网络结构，重点看下上图中的绿色部分，也即是文章提出的Kinematic Features Updates结构。 Kinematic Features Updates 这个结构相当于是根据先验知识对人体姿态进行
Knowledge Distillation for 6D Pose Estimation by
最新发布
12-28
### 6D 姿态估计中的知识蒸馏方法 在计算机视觉和机器学习领域，6D姿态估计算法旨在确定物体相对于相机坐标系的位置和方向。对于复杂场景下的高精度需求，模型往往变得非常庞大且难以部署到资源受限设备上。为了缓解这一挑战并保持性能水平，研究者们引入了知识蒸馏技术。 #### 单阶段与两阶段网络结构对比 单阶段检测器直接回归目标边界框及其对应的类别标签，在实时应用中有显著优势；而两阶段架构则先生成候选区域再进一步分类细化位置参数，通常能提供更精确的结果却牺牲了一定的速度效率[^1]。因此，通过知识蒸馏可以从复杂的教师模型（通常是两阶段）向轻量级的学生模型传递有价值的信息，从而实现两者优点的结合。 #### 特征图层面的知识迁移 特征映射作为卷积神经网络内部表示形式之一，包含了丰富的空间布局特性以及语义含义。利用这些中间层输出进行指导训练可以有效促进学生模仿老师的行为模式。具体来说，可以通过最小化师生间对应激活响应之间的差异来完成此过程： ```python def feature_distillation_loss(teacher_features, student_features): loss_fn = nn.MSELoss() return sum([loss_fn(t_f, s_f) for t_f, s_f in zip(teacher_features, student_features)]) ``` 这种方法不仅有助于提高最终预测准确性，而且还能增强泛化能力，使得经过压缩后的模型更加鲁棒可靠[^2]。 #### 输出分布一致性约束 除了上述基于内部表征的学习策略外，还可以考虑从概率角度出发施加额外监督信号——即确保两个不同体系所给出的概率分布尽可能相似。这一步骤可通过Kullback-Leibler散度(KL Divergence)量化二者间的距离，并将其加入总损失函数之中共同优化求解: ```python import torch.nn.functional as F def output_distribution_consistency(student_output, teacher_output, temperature=4.0): soft_student_out = F.softmax(student_output / temperature, dim=-1) soft_teacher_out = F.softmax(teacher_output / temperature, dim=-1).detach() kl_divergence = -(soft_teacher_out * (torch.log(soft_student_out + 1e-7))).sum(dim=-1) return kl_divergence.mean() * (temperature ** 2) ``` 此处采用软标签机制允许更大范围内的样本参与反向传播更新权重操作，进而加速收敛进程同时改善整体表现效果[^3]。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值