Improving Accuracy of Binary Neural Networks using Unbalanced Activation Distribution

原创 已于 2023-05-21 18:16:59 修改 · 2.2k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #神经网络 #机器学习

于 2021-12-08 17:25:11 首次发布
本文研究了在资源受限环境中，通过调整ReLU激活函数的偏移来平衡二值数据分布对神经网络模型精度的提升。实验表明，使用可训练的激活函数能帮助优化激活分布，从而可能提高模型的准确性。
背景

神经网络模型的二值化被认为是在移动设备等资源受限环境中部署深度神经网络模型的一种有前途的方法。

模型

在这里插入图片描述
此处研究的是对一个激活函数做一个偏移，看最终的结果如何。
在这里插入图片描述
平衡指的应该就是例如二值数据，1和-1的数量。

实验

我们进行了一些实验，以监测由于ReLU函数的性质导致的不平衡激活分布是否有助于提高准确性。

建议使用可训练的激活函数，以便激活的分布可以平衡。

CVPR 2021最全论文开放下载！附pdf下载链接！
中科院AI算法工程师的博客
06-18 1万+
CVPR 2021最全论文开放，附所有pdf下载链接！
【论文阅读笔记】NeurIPS2020文章列表Part1
热门推荐
zincrain的博客
12-09 2万+
A graph similarity for deep learning An Unsupervised Information-Theoretic Perceptual Quality Metric Self-Supervised MultiModal Versatile Networks Benchmarking Deep Inverse Models over time, and the Neural-Adjoint method Off-Policy Evaluation and Learning.
CVPR2021论文列表（中英对照）
dovings的博客
07-04 1万+
CVPR论文列表，中英对照
【CVPR2021】论文汇总列表--Part1
TomRen
05-01 2917
CVPR2021 论文汇总
2020年 ICLR 国际会议最终接受论文(poster-paper)列表(二)
yinizhilianlove的博客
02-21 1万+
来源：AINLPer微信公众号（点击了解一下吧） 编辑: ShuYini 校稿: ShuYini 时间: 2020-02-21     2020年的ICLR会议将于今年的4月26日-4月30日在Millennium Hall, Addis Ababa ETHIOPIA（埃塞俄比亚首都亚的斯亚贝巴 千禧大厅）举行。     2020年ICLR会议（Eighth International Con...
【论文阅读笔记】NeurIPS2020文章列表Part2
zincrain的博客
12-09 6408
Online Multitask Learning with Long-Term Memory Fewer is More: A Deep Graph Metric Learning Perspective Using Fewer Proxies Adaptive Graph Convolutional Recurrent Network for Traffic Forecasting On Reward-Free Reinforcement Learning with Linear Function A.
Another Keras Tutorial For Neural Network Beginners
omnispace的博客
10-30 1185
I’ve noticed that the term machine learning has become increasingly synonymous with deep learning (DL), artificial intelligence (AI) and neural networks (NNs). For example, posts on the machine lear
（三十一：2021.01.12）MICCAI 2018 追踪之论文纲要（下）
Jojo论文基地
01-11 1878
讲在前面 这部分是PART III和PART IV。 论文目录 PART III Diffusion Tensor Imaging and Functional MRI: Diffusion Tensor Imaging（扩散张量成像和功能性MRI：扩散张量成像） 概要 1.Multimodal Fusion of Brain Networks with Longitudinal Couplings纵向联轴器脑网络多峰融合 2.Penalized Geodesic Tractograp
Torch
doswynkfsw的博客
02-04 2万+
数据加载 torch.load()
隐马尔可夫模型：hmmlearn库的使用
doswynkfsw的博客
04-22 1万+
hmmlearn库的使用 安装和使用 hmmlearn 一共实现了三种HMM模型类，按照数据的观测状态是离散的还是连续的可以划分为两类。GaussianHMM （高斯HMM模型）和GMMHMM（混合高斯模型）是观测状态为连续的模型。 MultinomialHMM（多项式分布HMM模型）是观测状态为离散的模型。这三种算法都可以被用来估计模型的参数。 Hmmlearn以前是scikit-learn项目中的一部分，现在已经是一个单独的python包，可以在安装好python的基础上，直接使用下述命令进行安装。 p
隐马尔可夫模型基础介绍
doswynkfsw的博客
03-13 6904
具有顺序性的东西，都可以使用HMM模型。 判断一个人是否去游乐园的概率。是否去游乐园是与天气有关的，例如晴天去游乐园的概率是大于雨天去游乐园的概率的。天晴状况之间是有转移概率的，我们记作为状态转移矩阵。 HMM模型的三个参数： （1）初始隐藏状态概率 （2）状态之间的转移概率 （3）状态到观测状态的概率 HMM模型解决的三个基本问题 （1）给定一个观测序列，求这个观测序列的概率（前向算法，后向算法，直接求解法）。 P(O∣λ)=∑IP(O,I∣λ)=∑i1,i2,⋯ ,iTπi1bi1(o1)ai1i2bi
社交网络之平衡理论
doswynkfsw的博客
02-08 4254
海德等人与20世纪40年代开始研究，并提出了平衡理论（时间和人名资料来源于百度百科）。在现实生活中，人们喜欢平衡的关系，举个简单的例子。三角恋的关系是不长久的，Why? 从平衡理论的角度出发, 三角恋好比上图（本图来源于Signed Graph Convolutional Network）所示的Unbalanced Triangles（c）, 女一k是男一号和男二j共同喜欢的对...
图注意力网络(GAT)
doswynkfsw的博客
04-25 3405
图注意力神经网络
隐马尔可夫模型问题一：求模型观测序列的概率
doswynkfsw的博客
03-20 2275
背景 隐马尔可夫模型关注的三个问题中，第一个是求模型观测序列的概率。 暴力求解 已知HMM模型的参数λ=[A,B,π]\lambda = [{\bf{A,B,\pi }}]λ=[A,B,π]， A{\bf{A}}A是隐藏状态转移概率矩阵，B{\bf{B}}B是观测状态概率矩阵。对于隐藏状态的初始概率分布记作π{\bf{\pi }}π。已知观测序列O={o1,o2,⋯ ,oi,⋯ ,oM}O = \{ {o_1},{o_2}, \cdots ,{o_i}, \cdots ,{o_M}\}O={o1​,o2​
DFGCN:Deep Fuzzy Graph Convolutional Networks for PolSAR Imagery Pixel-wise Classification
doswynkfsw的博客
04-23 2071
背景 使用图神经网络做的遥感数集的节点分类。遥感数据集数据不同于一般的RGB图像。 Liu H, Zhu T, Shang F, et al. Deep Fuzzy Graph Convolutional Networks for PolSAR Imagery Pixelwise Classification[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2020, 14: 504
隐马尔可夫模型问题三：求最可能的隐藏状态序列
doswynkfsw的博客
03-27 1896
隐马尔可夫模型问题三求解 求最可能的隐藏状态序列，主要是通过动态规划求解概率最大的路径（最优路径），即通过动态规划求解马尔科夫模型的预测问题，最优路径对应一个状态序列。求解这种问题，我们一般使用马尔科夫模型。 已知模型λ=(A,B,π)\lambda = (A,B,\pi )λ=(A,B,π)，并且 A=[0.50.20.30.30.50.20.20.30.5]A = \left[ {\begin{matrix} {0.5}&{0.2}&{0.3}\\ {0.3}&{0.5}&am
图网络中的图与特征的融合
doswynkfsw的博客
02-16 1608
卷积网络，例如2D卷积： 上图中的右图是通过卷积核得到的结果，代码如下： import matplotlib.pyplot as plt import pylab import cv2 import numpy as np img = plt.imread("1.jpg") plt.imshow(img) ...
Pandas
doswynkfsw的博客
11-26 1414
pandas读.txt文件 使用read_csv就行
Linear deformable convolution for improving convolutional neural networks
最新发布
01-20
### 线性可变形卷积技术增强卷积神经网络性能 线性可变形卷积是一种扩展标准卷积操作的技术，允许模型自适应地调整感受野的位置。这种灵活性使得模型能够更好地捕捉不同尺度和形状的目标特征。 #### 基本原理 在传统卷积中，滤波器按照固定的空间布局滑动并提取特征。然而，在处理复杂场景时，物体可能呈现不同的姿态、比例或遮挡情况。为此，线性可变形卷积引入了一个额外的分支来预测每个位置上的偏移量(offset)，这些偏移会作用于原始采样点上[^4]： ```python import torch.nn as nn class LinearDeformConv(nn.Module): def __init__(self, in_channels, out_channels, kernel_size=3, stride=1, padding=1): super(LinearDeformConv, self).__init__() # 学习偏移量的子网 self.offset_conv = nn.Conv2d(in_channels=in_channels, out_channels=kernel_size * kernel_size * 2, # xy方向各需一个偏移 kernel_size=kernel_size, stride=stride, padding=padding) # 主干卷积层 self.conv = nn.Conv2d(in_channels=in_channels, out_channels=out_channels, kernel_size=kernel_size, stride=stride, padding=padding) def forward(self, x): offsets = self.offset_conv(x) # 预测偏移场 output = deform_conv_function(input=x, offset=offsets, weight=self.conv.weight, bias=self.conv.bias) return output ``` 这里`deform_conv_function()`代表实现具体变形卷积运算的功能函数。通过这种方式，即使面对形态各异的对象实例，也能获得更精准的感受域定位。 #### 性能提升机制 当应用于目标检测任务时，该方法有助于提高边界框回归精度以及分类准确性。特别是在多尺度变换下保持鲁棒性的能力尤为突出[^2]。由于采用了基于数据驱动的方式动态调整空间支持区域，因此相比静态模板化的常规做法更具表达力。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值