Activate or Not Learning Customized Activation(CVPR 2021)理解

最新推荐文章于 2024-05-31 10:01:40 发布
原创 最新推荐文章于 2024-05-31 10:01:40 发布 · 935 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #人工智能

本文介绍了ACON激活函数，它作为ReLU和Swish的拓展，能进一步提升深度学习模型的精度。ACON不仅解释了Swish函数的内在机理，而且其边界是可学习的，尤其在深层网络中表现优越。通过转换为softmax形式，作者展示了ACON的一阶导数上下界的可学习性，并提出了Meta-ACON，允许动态学习β参数。实验表明，按层或通道学习β值可以优化每个层的性能。具体实现细节及源代码可在文中找到。

参考论文

ReLU是目前较常用的激活函数，Swish激活函数在它的基础上进一步提高了ImageNet上的精度。参考论文提出了ACON激活函数，它一方面解释了Swish函数的内在机理，证明Swish是ReLU的平滑近似版本，另一方面又推广出ACON激活函数，可进一步提高精度，且ACON的上下边界是可学习的。在网络高度deep的时候证明比其他激活函数更能提高精度。

具体改进可见下图，对于每层是不是要激活是不一样的，而ReLU是每层都一样。
在这里插入图片描述
ACON原理
考虑max函数
在这里插入图片描述
转换成softmax的话为
在这里插入图片描述
而ReLU是max(x, 0)，是两个变量的max函数，转换成更一般的形式，即两个变量都是x的线性函数，
在这里插入图片描述

最低0.47元/天 解锁文章
深度学习论文: Activate or Not: Learning Customized Activation及其PyTorch实现
mingo_敏
05-18 992
深度学习论文: Activate or Not: Learning Customized Activation及其PyTorch实现 Activate or Not: Learning Customized Activation PDF: https://arxiv.org/pdf/2009.04759.pdf PyTorch代码：https://github.com/shanglianlm0525/CvPytorch PyTorch代码：https://github.com/shanglianlm0525
CVPR 2021 | Activate or Not: Learning Customized Activation阅读分享（keras实现）
u011447962的博客
05-23 717
Activate or Not: Learning Customized Activation阅读分享 摘要 提出了一个简单的，有效的，和一般的激活函数ACON，它学习是否需要激活神经元。发现Swish，最近流行的NAS搜索激活，可以解释为对ReLU的一个平滑近似。同样地，将更一般的Maxout方法近似ACON方法，并使Swish成为ACON的一个特殊情况。meta-ACON学习了优化非线性和线性之间的参数切换，并提供了一个新的设计空间。通过简单地改变激活函数，证明了它在小模型和高度优化的大模型上的有效性
【论文阅读】Activate or Not: Learning Customized Activation（CVPR2021）
络小绎
05-14 1398
论文题目：Activate or Not: Learning Customized Activation 论文地址：https://arxiv.org/pdf/2009.04759.pdf 代码地址：https://github.com/nmaac/acon 文章贡献： 1. 提出了一个新颖的角度来理解：Swish可以解释为ReLU的一种平滑近似； 2.基于这个发现，论文进一步分析ReLU的一般形式Maxout系列激活函数，从而得到Swish的一般形式、简单且有效的ACON激活函数； 3..
开源宝藏：激活自适应——深度学习新宠儿 ACON
最新发布
gitblog_00083的博客
05-31 408
开源宝藏：激活自适应——深度学习新宠儿 ACON acon项目地址:https://gitcode.com/gh_mirrors/ac/acon 在神经网络的浩瀚星空中，寻找更优的激活函数一直是研究人员的一大追求。今天，我们将探索CVPR 2021的亮点之一——《Activate or Not: Learning Customized Activation》，这个开源项目引入了一颗璀璨的新星：A...
自适应激活函数 ACON：统一ReLU和Swish的新范式
BAAIBeijing的博客
04-20 2133
智源导读：本文主要介绍港科大和旷视科技合作，被CVPR2021接收的一篇文章：Activate or Not: Learning Customized Activation。论文链接：ht...
精选资源
MI-AOD:用于对象检测的多实例主动学习代码，CVPR 2021
04-01
这是用于对象检测的多实例主动学习的代码（PDF暂时不可用），CVPR 2021。 其他介绍和数据暂时不可用。 安装 推荐使用Linux平台（我们是Ubuntu 18.04 LTS）和 ，因为它们可以方便，高效地安装和管理环境和软件包。 ...
CVPR 2021 | 自适应激活函数ACON：统一ReLU和Swish的新范式
Paper weekly
04-20 895
©作者｜马宁宁学校｜香港科技大学博士生研究方向｜计算机视觉本文提出一种新的激活函数 ACON (activate or not)，可以自适应地学习激活与否。ReLU 是最常见的激活函数，...
CVPR 2021 速览 | 旷视研究院入选学术成果盘点（上）
旷视开发者技术社区
03-18 1262
日前，CVPR 2021论文接收情况正式出炉。此次，旷视研究院共入选论文22篇，其中Oral论文2篇，研究领域涵盖激活函数、神经网络、神经网络架构搜索、光流估计、无监督学习、人体姿态估计、...
公众号内容拓展学习笔记（2021.3.29）
xiaoxuebajie的博客
03-29 303
公众号内容拓展学习笔记（2021.3.29） ???? 今日要点 详解OpenVINO 模型库中的人脸检测模型 ⭐️⭐️ 主要内容：本文介绍了OpenVINO的三种人脸检测模型：MobileNetv2、SqueezeNet和ResNet152 激活还是不激活？CVPR2021-Activate Or Not: Learning Customized Activation ⭐️⭐️ 主要内容：本文介绍了由FReLU激活函数，ShuffleNet的作者MaNing
CVPR 2021 | 港科大&旷视提出ACON：激活还是不激活？学习自定义激活函数
阿木寺的博客
04-01 3194
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达本文转载自：GiantPandaCV | 作者：zzk简介在该工作中，我们提出了一种名为ACON(Activate Or...
激活函数篇
Major_S的博客
02-11 966
平面方程及类型
CVPR 2021 速览 | 旷视研究院入选学术成果盘点
我爱计算机视觉
04-05 1711
本文转载自旷视研究院。日前，CVPR 2021论文接收情况正式出炉。此次，旷视研究院共入选论文22篇，其中Oral论文2篇，研究领域涵盖激活函数、神经网络、神经网络架构搜索、光流估计、无监...
聊一聊深度学习的activation function
FontTian的博客
09-13 1735
转载自:https://zhuanlan.zhihu.com/p/25110450 TLDR (or the take-away) 优先使用ReLU (Rectified Linear Unit) 函数作为神经元的activation function: 背景 深度学习的基本原理是基于人工神经网络，信号从一个神经元进入，经过非线性的activation function，传入到
pytorch lstm input_size, hidden_size说明
热门推荐
蓝羽飞鸟的博客
08-20 2万+
了解了LSTM原理后，一直搞不清Pytorch中input_size, hidden_size和output的size应该是什么，现整理一下 假设我现在有个时间序列，timestep=11, 每个timestep对应的时刻上特征维度是50， 那么input_size就是50 然后说hidden_size 截知乎一个图比较好理解 hidden_size就是黄色圆圈，可以自己定义，假设现在定义hidden_size=64 那么output的size又是多少 再截上面知乎的一个图 可以看到output是最后一
PixelShuffle原理笔记（paper，pytorch实现）
蓝羽飞鸟的博客
03-21 1万+
pixel shuffer是一种图像上采样的方法，参考paper 它在Pytorch中的实现为 torch.nn.PixelShuffer(r) 其中r为上采样倍率。 paper中提到，之前的上采样通过插值把低分辨率（LR）图像转换到高分辨率（HR），然后在HR特征空间处理，得到超分辨率（SR）图像。 paper提出了一种跳过插值转换HR的步骤，直接从LR特征空间转换为SR图像。 它基于的假设是，在很多SR技术中，高频数据是冗余的，因而可以直接由低频部分得到。 网络的前L-1层如下： W是conv2D，
ViT结构详解（附pytorch代码）
蓝羽飞鸟的博客
08-09 1万+
ViT详解
quality focal loss & distribute focal loss 详解（paper, 代码）
蓝羽飞鸟的博客
01-10 1万+
QFL， DFL
FasterNet（PConv）paper笔记（CVPR2023）
蓝羽飞鸟的博客
09-07 1万+
PConv，FasterNet笔记
零代码实例分割技术解析：CVPR2021代码实战指南
在CVPR 2021上发表的论文《Zero-shot-Instance-Segmentation》中提出的技术，代表了在零镜头实例分割研究上的最新进展。 ### 知识点三：技术实现环境要求 - **Python版本：** Python 3.7，作为目前广泛使用的编程...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

蓝羽飞鸟

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值