Pose论文阅读:Fast Human Pose Estimation

本文介绍了一种名为FastPoseDistillation(FPD)的方法,它通过知识蒸馏技术,从大型教师网络中提取信息,训练小型学生网络进行人体姿态估计,实现了在精度基本不变的情况下大幅减少内存消耗的目标。实验在MPII和LSP数据集上验证了FPD的有效性。

Fast Human Pose Estimation

Abstruct

现在的Pose框架虽然精度以及泛化能力已经不错,但是模型过于复杂,使得参数量以及部署时消耗的内存过大。 这篇文章就是通过牺牲极少部分的精度来达到大幅度减少内存的消耗的目的。作者主要是通过用训练好的教师网络(大网络)将知识传递给学生网络(小网络)来实现这一目的,他们称他们的方法为Fast Pose Distillation(FPD)。最终使用时只需要将学生网络部署在设备上即可。 作者在MPII与LSP数据集上做了验证,证明了他们的方法的有效性。

Introduction

现在做Pose的绝大多数在追求精度而忽略了内存的消耗,而作者从减少内存消耗而基本不减少精度方面出发提出FPD。本文作者针对Hourglass做的实验,将提前训练好的参数量大的HourglassNet作为教师网络。然后通过将Knowledge Distillation的思想应用到Pose上来训练学生网络。最后在精度与内存消耗上达到了更好的平衡。

Related Work

human pose

最近五年pose取得巨大的进展,但绝大部分人都是致力于使用更加复杂的模型来达到更高的精度而忽略了模型的部署消耗,从而限制了Pose研究成果在实际中的应用。
其实,也有少部分人在研究提高模型效率的问题。但他们的方法几乎都大大减少了精确度。作者的方法在精确度基本不变的情况下,大大减少了内存消耗。

Knowledge Distillation

知识蒸馏具体传递的就是教师网络的预测输出,即将教师网络的输出也作为监督信息的一部分。拿分类任务来说,就是传递了各个类别的可能性,这相对于人工标注的数据更利于小网络的学习。因为其包

评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值