【MMPose】Lite-HRNet替换激活函数（hardswish和hardmish）

原创 已于 2023-01-04 12:16:15 修改 · 2.1k 阅读 · 20 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#python #深度学习 #pytorch #神经网络

于 2023-01-03 16:35:12 首次发布
文章介绍了如何在MMPose框架中替换Lite-HRNet的ReLU激活函数，使用Hardswish和自定义的Hardmish激活函数。通过修改网络代码和训练配置文件，以测试这两种新激活函数对姿态估计性能的影响。注意，Hardmish可能增加显存占用。

hardswish和hardmish是两个比ReLu更强的激活函数，在姿态估计网络中使用可以带来一定的涨点，故本篇文章想要在mmpose中替换一下激活函数，测试一下两种新的激活函数的效果。

1.测试环境

python 3.7.6

pytorch 1.13

cuda 11.6

windows 11

各激活函数图像

hardswish
HardSwish

2.替换lite-henet.py的激活函数为hardswish

将mmpose\models\backbones\litehrnet.py拷贝一份重新命名为litehrnet_hswish.py同样存放在将mmpose\models\backbones\目录。

在litehrnet_hswish.py注册新的激活函数Hardswish：

from mmcv.cnn.bricks.registry import ACTIVATION_LAYERS
@ACTIVATION_LAYERS.register_module()
class Hardswish(nn.Module):
    r"""Appli
最低0.47元/天 解锁文章
YOLOv5改进系列(二) 更换激活函数SiLU，ReLU，ELU，Hardswish，Mish，Softplus，AconC等
专注于人工智能学习，总结
12-14 8366
1.1 什么是激活函数？在接触到深度学习（Deep Learning）后，特别是神经网络中，我们会发现在每一层的神经网络输出后都会使用一个函数（比如sigmoid，tanh，Relu等等）对结果进行运算，这个函数就是激活函数（Activation Function）。那么为什么需要添加激活函数呢？如果不添加又会产生什么问题呢？首先，我们知道神经网络模拟了人类神经元的工作机理，**激活函数（Activation Function）是一种添加到人工神经网络中的函数，旨在帮助网络学习数据中的复杂模式。**
激活函数总结（四）：Hard系列激活函数补充(HardSigmoid、HardTanh、Hardswish)
走在深度学习前沿的小宋
08-10 2972
本文为前面介绍的激活函数进行一定的补充，介绍了一系列的Hard激活函数，包括：HardSigmoid、HardTanh、Hardswish等激活函数及其在当前激活函数众多的情况下使用的环境。其中，Hardswish 是在 Swish激活函数的基础上发展来的，具有实验效果好，运行速度快的优点！！！
从零开始学CV之一激活函数篇（Activation Function）
chenxiangrong的博客
06-30 1835
前言：相信很多接触过cv的同学都有去研究过激活函数，激活函数相对于一个神经元来说是非常重要的，一个好的激活函数可以让你的模型得到质的飞跃，那到底什么是激活函数？常见的激活函数有哪些？它们的优缺点是什么？ 1. 什么是激活函数？ 相信大家高中生物都有学过神经系统，其实神经网络借助了生物学对脑神经的研究成果，我们拿一个生物大脑的神经元打个比方~ 分叉凸起的部分是树突也叫突触，它用来接收外界传入的电信号，突触包围着的就是神经元，它把突触接收到的信号（多个电信号，类似多个inputs）整合成一个反馈信息。 但是.
Yolov5 激活函数
qq_35326529的博客
12-09 4909
activation.py文件
【亲测免费】 Lite-HRNet 使用教程
最新发布
gitblog_00861的博客
11-14 1095
本教程旨在帮助开发者快速上手 [Lite-HRNet](https://github.com/HRNet/Lite-HRNet.git)，一个高效轻量级的人体姿态估计模型。我们将深入其目录结构、启动文件以及配置文件，以便您能够顺利进行项目部署和实验。 ## 1. 项目目录结构及介绍 Lite-HRNet 的目录结构精心设计，以支持清晰和模块化的开发流程： ```plaintext Lite-
HardSwish和HardSigmoid的关系
weixin_45095712的博客
10-09 973
HardSwish和HardSigmoid的关系
Hard Swish激活函数
weixin_38190702的博客
06-28 8961
HardSwish激活函数的两个版本的介绍
mmpose关键点（三）：轻量型Lite-HRNet与onnx输出
litt1e的博客
08-17 2323
最近，项目中需要在终端使用关键点检测，对于模型性能要求相对严苛。在这里我将讲解并记录模型优化的过程，希望对大家有所帮助。由于终端算力有限，在内存速度与性能需要权衡好，我选择轻量型关键点性能较好的Lite-HRNet作为模型的backbone。下面，将对Lite-HRNet模型与如何输出onnx模型详细讲解。...
Lite-HRNet 轻量级的HRNet 转onnx
xz1203的博客
05-09 4463
上个月cvpr2021出了轻量级的hrnet，依旧是MSRA的作品，这个系列都连着三年的cvpr了，太强了！假期结束才有想着去看看文章。简单看了看，发现flops降得好低啊，效果还不赖，于是尝试将模型转为onnx。 关于文章内容的讲解，网上已经有不少了，例如Lite-HRNet讲解，主要的点是将ShuffleNet中的结构应用于HRNet中得到Naive Lite-HRNet，再用一个轻量级的单元conditional channel weighting替换可分离卷积中poinewise的1x1卷积，
关键点检测二：HRNet训练MPII跑通代码记录
Mr.Pru
01-11 3922
关键点检测，HRNet训练数据
hrnet 模型下载
04-02
### 下载并使用 HRNet 深度学习模型 要下载并使用 HRNet 深度学习模型，可以...另外值得注意的是虽然 Lite-HRNet 是一种针对移动端优化后的变体形式但它同样继承了原版大部分优良特性因此值得深入研究探讨[^3]. ---
【DL经典回顾】激活函数大汇总（九）（Hard Swish & ReLU6附代码和详细公式）
悦学共鸣，温柔以待，汇聚光芒，共同成长
03-15 1496
Hard Swish激活函数是由Google在MobileNetV3架构中引入的，旨在为移动和嵌入式设备提供一种高效的激活函数。ReLU6激活函数由Google在其早期版本的MobileNet架构中使用，主要目的是为了优化移动设备上的性能。本博客重点介绍这两个激活函数。
Hard-Mish
weeks
01-24 565
场景一: Hard-Mish … 场景一: Hard-Mish class Mish(nn.Module): @staticmethod def forward(x): # x*tanh( ln(1+e^x) ) return x * F.softplus(x).tanh() class Hard_Mish(nn.Module): @staticmethod def forward(x): return x * F.sof
hard—mish
qq_40149035的博客
08-20 313
class hard_Mish(nn.Module): def __init__(self): #初始化继承 super(hard_Mish, self).__init__() def forward(self, x): return x * F.hardtanh(x + 3, 0., 6.) / 6.
【安装教程】MMPose安装与使用（测试HRNet与Lite-HRNet）
qq_21532607的博客
12-29 4375
MMPose的对于怎么安装其实写得非常清楚，所以本篇文章其实相当于一个过程记录。最后对比了一下HRNet和Lite-HRNet在gpu和cpu上的推理速度
激活函数Swish和Hardswish简介
热门推荐
码农1479的博客
03-12 2万+
Swish激活函数和Hardswish激活函数学习笔记。
Torch.nn.Hardswish
qq_41848298的博客
09-01 883
低版本Torch实现 Torch.nn.Hardswish
【深度学习】之激活函数篇[Sigmoid、tanh、ReLU、Leaky ReLU、Mish、Hardswish、SiLU]附绘图Python代码。
weixin_46716951的博客
04-20 1万+
激活函数的作用 为卷积神经网络提供非线性 1、Sigmoid激活函数 Sigmoid激活函数是常用的连续、平滑的“s”型激活函数，其数学定义比较简单，如公式1所示： 简单来说，Sigmoid函数以实数输入映射到（0,1）区间，用来做二分类。对于一个极大的负值输入，它输出的值接近于0；对于一个极大的正值输入，它输出的值接近于1。 Sigmoid激活函数曾一度被不同的网络使用，从Sigmoid及其导数曲线图可知，当输入的值非常小或者非常大时，其Sigmoid输出的值接近0或者1，当Sigmoid函数的前一层
Swish & hard-Swish
qq_43258953的博客
01-04 1万+
当β = 0时,Swish变为线性函数f(x)=x/2 β → ∞, σ(x)=(1+exp(−x))−1σ(x)=(1+exp⁡(−x))−1为0或1. Swish变为ReLU: f(x)=2max(0,x) 所以Swish函数可以看做是介于线性函数与ReLU函数之间的平滑函数. beta是个常数或者可以训练的参数。其具有无上界有下界、平滑、非单调的特性。其在模型效果上优于ReLU。 ha...
mmpose中的td-hm_hrnet是什么意思
07-29
我们正在处理关于MMPose中'td-hm_hrnet'模型的解释问题。根据引用内容，我们可以提取以下关键信息： - 'td-hm_hrnet'是一个配置文件的名称，具体为`td-hm_hrnet-w48_8xb32-210e_coco-256x192.py`（见引用[2]和[3]）...
评论 8
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值