Towards Accurate Binary Convolutional Neural Network

最新推荐文章于 2022-03-28 18:52:42 发布
最新推荐文章于 2022-03-28 18:52:42 发布
阅读量388 收藏 1
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/JachinMa/article/details/104542639
版权
本文介绍了一种使用多个二进制网络线性组合以接近全精度网络性能的技术，尤其在ImageNet上表现突出。通过优化权重量化、激活值处理以及二进制网络的组合，实现了高效的计算和存储，同时提出了改进BN操作的潜在方法。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

本文提出了一种使用多个二进制网络的线性组合来拟合复杂网络的方法，它是首个在ImageNet上效果接近全精度网络的二进制网络。

其优化目标如下：
在这里插入图片描述
w是全精度权重，B为量化权重，α为每个二进制网络的系数：
在这里插入图片描述
为了能使反向传播正常进行，设定下式：
在这里插入图片描述
在这里插入图片描述
ui的取值区间是[-std(W),std(W)]。

前向和反向传播的过程如下：
在这里插入图片描述
整体框架如下：
在这里插入图片描述
左边每个框框是一个近似的全精度网络，其中每一个都是一个二进制网络。右边共有三个近似

最低0.47元/天 解锁文章
JachinMa
关注
[京哥读论文]之ABC-Net：Towards Accurate Binary Convolutional Neural Network
京哥搞异构AI
08-15 807
论文题目：Towards Accurate Binary Convolutional Neural Network_NIPS2017 引用量:98 code:https://github.com/layog/Accurate-Binary-Convolution-Network https://github.com/cow8/ABC-Net-pytorch 由于之前二值化工作在ImageNet数据...
ABCnet——高精度二值化网络（Binary Neural Network）
AI Flash
06-12 1万+
"Towards Accurate Binary Convolutional Neural Network"这篇文章提出了ABCnet，是一种表示精度较高的二值化网络结构（作为XNORnet的演进）。有关XNORnet及其优势可以参考论文："XNORNet: ImageNet Classification Using Binary Convolutional Neural Networks"。 ...
TowardsAccurateBinaryConvolutionalNeural Network
09-21
Convolutional neural networks (CNNs) have achieved state-of-the-art results on real-world applications such as image classification [He et al., 2016] and object detection [Ren et al., 2015], with the best results obtained with large models and sufficient computation resources. Concurrent to these prog
《Towards Accurate Binary Convolutional Neural Network》解读
andeyeluguo的博客
03-06 1058
近似输入：。。。     二值 A = 2*I -1指示函数 I =h>0.5?1:0;  clip函数  h = max(0,min(1,x+v)),x为R的一个值Beta线性回归，v？  近似权重：   但是 在imagenet只是bwn结合就掉了4个点，计算量反而没有降低多少了。不太实用，看看就好。...
ABC-Net:Towards Accurate Binary Convolutional Neural Network 论文学习
qq_31993233的博客
03-28 2271
Towards Accurate Binary Convolutional Neural Network 论文学习
论文阅读笔记（五十四）：V-Net: Fully Convolutional Neural Networks for Volumetric Medical Image Segmentation
sunshine_010的博客
05-14 7594
Abstract. Convolutional Neural Networks (CNNs) have been recently employed to solve problems from both the computer vision and medical image analysis fields. Despite their popularity, most approaches ...
【Paper Reading】Towards Accurate Binary Convolutional Neural
小铁匠的博客
04-17 313
2017NIPS 大疆 论文地址：https://arxiv.org/abs/1711.11294 代码地址：https://github.com/layog/Accurate-Binary-Convolution-Network 摘要 本文介绍一种新的二进制卷积神经网络(CNNs)训练方案- CNNs的权重和激活限制在{-1，+1}。众所周知，使用二进制权值和激活可以极大地减少内存大小和访问，并...
【论文笔记】二值化神经网络（Binarized Neural Network）
热门推荐
elaine_bao的专栏
03-22 1万+
文章链接：Binarized Neural Networks: Training Deep Neural Networks with Weights and Activations Constrained to +1 or -1 是2016年2月份新出的一篇文章。文章的主要思想是通过二值化weights和activations，来提高NN的速度和减少其内存占用。
深度学习【6】二值网络（Binarized Neural Networks）学习与理解
DCD_LIN的博客
03-29 1万+
http://blog.youkuaiyun.com/linmingan/article/details/51008830           Binarized Neural Networks: Training Neural Networks with Weights and Activations Constrained to +1 or−1的工作是基于BinaryConnect: Training...
XNOR-Net ImageNet Classification Using Binary Convolutional Neural Networks
人生而孤独，却不甘寂寞。
09-24 4535
篇论文引入了一种对filter，feature map进行二值化的算法，从而避免了传统CNN中卷积操作的实数乘运算。论文提到，单纯对filter参数二值化，会有2X效率的提升，如果再对feature map的值进行二值化会有58X提升，并提升27X的内存利用率，但是会有一定的准确度损失，但是这篇论文仍然堪称解决CPU训练深度网络效率低的良药。
BinaryConnect： Training Deep Neural Networks with binary weights during propagations
xiaofei0801的博客
06-02 3493
1 Introduction       深度神经网络（DNN）大大推动了广泛的任务的state-of-the-art，特别是在语音识别[1,2]和计算机视觉方面，特别是图像中的物体识别[3,4]。最近，深度学习在自然语言处理方面取得重要进展，特别是统计机器翻译[5,6,7]。有趣的是，造成这一重大进展的关键因素之一是图形处理单元（GPU）的出现，加速10到30倍，从[8]开始，类似的改进与分布
嵌入式/压缩神经网络相关工作汇总
dlfxjc2的博客
01-26 4022
原文链接：https://www.ctolib.com/ZhishengWang-Embedded-Neural-Network.html Papers Reading List. This is a collection of papers aiming at reducing model sizes or the ASIC/FPGA accelerator for Machin
低成本的二值神经网络介绍以及它能代替全精度网络吗?
deephub
01-30 4743
每年都会开发出更深的模型来执行各种任务，例如对象检测，图像分割等，这些任务始终能够击败最新模型。 但是，人们越来越关注使模型更轻便，更高效，以便它们可以在边缘设备和移动设备上运行。 这对于弥合机器学习的研究和生产价值之间的差距非常重要。 减少深度神经网络的内存和计算成本的一种方法是二值神经网络的概念。 二值神经网络的概念非常简单，其中权重和激活张量的每个值都使用+1和-1表示，以便它们可以以1字节而不是全精度存储（在1-中表示为0 位整数）。 使用以下所示的符号函数将浮点值转换为二进制值- 现在，使用阈值
Explicit Loss-Error-Aware Quantization
JachinMa的博客
02-26 460
本文提出了使用全精度网络而非量化网络的误差更新权重的方法，以及对INQ的改进。 一般的量化网络，在训练时都会使用量化网络或混合网络(部分网络被量化)的误差来更新权重。本文则另辟蹊径，使用全精度网络的误差来更新权重。不仅取得了较好的结果，还避免了梯度的不匹配问题。 其损失函数为： 第一项是全精度网络的误差，第二项是全精度网络和量化网络的差异，第三项是量化权重和全精度权重的期望差。a1和a2是两个正...
ImageNet 二值网络精度排名表
AI小作坊 的博客
04-24 1923
Comparison with state-of-the-arts on ImageNet using ResNet-18 (W-weights, A-activation) Bi-Real net 56.4% TBN 55.6 Binary Ensemble 61.0% 11
神经网络各个数据集的精度
七七的博客
04-25 2524
0. MNIST：BP: 98%1. Norb：BP: 88%左右2. cifar-10:BP: 50%《Understanding the difficulty of training deep feedforward neural networks》3. fashion-MNIST：其他：常用机器学习数据集精度
状态切换会影响神经网络模型性能的哪些方面，具体是通过什么方式，常用的改进措施是什么，请举Top文献的例
最新发布
06-11
3. "Towards Accurate Binary Convolutional Neural Network" by B. Zhou et al. (2017) 这篇文献提出了一种二值化卷积神经网络的方法，从而减少了网络中的参数量和计算复杂度。作者通过对权重和激活值进行二值化，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值