二值网络--Optimize Deep Convolutional Neural Network with Ternarized Weights and High Accuracy

最新推荐文章于 2024-01-17 03:30:00 发布
原创 最新推荐文章于 2024-01-17 03:30:00 发布 · 675 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

该文提出了一种针对深度卷积神经网络的权重三值量化训练方法，通过迭代统计缩放优化性能。在不牺牲准确性的情况下，使用多个三值网络层来表示全精度层，特别是对于卷积层和全连接层。实验中对比了不同训练策略，如直接训练三值权重、带有迭代缩放因子的训练以及微调，证明了这些方法的有效性。

Optimize Deep Convolutional Neural Network with Ternarized Weights and High Accuracy
IEEE Winter Conference on Applications of Computer Vision (WACV) 2019
https://github.com/elliothe/Ternarized_Neural_Network Pytorch

本文只对权重进行三值量化，每个卷积层和全连接层可以使用多个三值网络层表示以便提升三值网络的性能

III. W EIGHT T ERNARIZATION T RAINING M ETHOD
A. Ternarization with iterative statistical scaling

权重的三值量化：
在这里插入图片描述
其中 scaling factor 为
在这里插入图片描述
量化阈值为
在这里插入图片描述
dot-product operations 计算如下
在这里插入图片描述
模型的量化是一个迭代过程：
<

最低0.47元/天 解锁文章
卷积神经网络（CNN）简介：Convolutional Neural Networks (CNNs) Intro
AI天才研究院
08-07 998
作者：禅与计算机程序设计艺术Convolutional Neural Networks (CNNs) have become one of the most popular deep learning models for image classification tasks. In recent years, they have revolutionized computer vision and are widely used in applications such as object recogni
深度学习模型量化（低精度推理）大总结
洪流之源
05-30 6963
模型量化作为一种能够有效减少模型大小，加速深度学习推理的优化技术，已经得到了学术界和工业界的广泛研究和应用。模型量化有 8/4/2/1 bit等，本文主要讨论目前相对比较成熟的 8-bit 低精度推理。 通过这篇文章你可以学习到以下内容：1）量化算法介绍及其特点分析，让你知其然并知其所以然； 2）Pytorch 量化实战，让你不再纸上谈兵；3）模型精度及性能的调优经验分享，让你面对问题不再束手无策；4）完整的量化文献干货合集，让你全面系统地了解这门主流技术。 1.CPU 推理性能提升 2-4 倍，模型大小
一步一步分析讲解深度神经网络基础-Convolutional Neural Network
热门推荐
凡难事必作于细的博客
12-25 2万+
Convolutional Neural Network 参考http://cs231n.github.io/convolutional-networks/history Convolutional Neural Networks (CNNs / ConvNets)Convolutional Neural Networks are very similar to ordinary Neural
遗传算法优化神经网络----1
QoMo的博客
05-07 6528
遗传神经网络算法和神经网络算法最本质的区别可以说是学习方法不同，或者说模型的优化方法不同。前者应该是基于遗传算法进行网络参数的学习，而后者大都是采用反向传播（BP）算法进行网络参数的学习。遗传算法优化 BP 神经网络分为BP神经网络结构确定、遗传算法优化和 BP 神经网络预测3个部分。
[Paper]Cardiologist-Level Arrhythmia Detection with Convolutional Neural Networks
skysys的研究小屋
12-29 1156
Cardiologist-Level Arrhythmia Detection with Convolutional Neural Networks 基于卷积神经网络的心脏科医生级别的心律失常检测 Abstract 摘要 We develop an algorithm which exceeds the performance of board certified cardiologists in...
Pape之DL之CNN：2019《A Survey of the Recent Architectures of Deep Convolutional Neural Networks》翻译并解读第四章
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
11-08 1万+
Pape之DL之CNN：2019《A Survey of the Recent Architectures of Deep Convolutional Neural Networks》翻译并解读第四章：深度卷积神经网络的最新架构综述更新中……
SCNN: An Accelerator for Compressed-sparse Convolutional Neural Networks文章详细解读
fsFengQingYangheihei的博客
01-18 4925
SCNN: An Accelerator for Compressed-sparse Convolutional Neural NetworksAs FPGAs are intrinsically parallel devices, they are quite suitable for Neural Network implementations, and so several studies
Andrew - Deep Learning - C4-Week1-2 Program Assignment - Convolutional Neural Networks: Application
houzhizhen的专栏
04-05 351
Convolutional Neural Networks: Application Welcome to Course 4’s second assignment! In this notebook, you will: Implement helper functions that you will use when implementing a TensorFlow model Imple...
On-Device Neural Net Inference with Mobile GPUs
程永强
11-25 4089
On-Device Neural Net Inference with Mobile GPUs
论文解读与复现：Alexnet-ImageNet Classification with Deep Convolutional Neural Networks
weixin_46524818的博客
01-17 2591
由于我设置的学习率太大，导致随机梯度下降时已经越过最优点，loss开始上升，模型变得不可控后续如果更精准的数据的话可以减少学习率重复进行训练，可以达到一个不错的值，下面是测试集的loss，可以发现在第6个epoch的loss已经最小了，由于越过最优点，就导致loss后面不断上升。其中求和是在相同空间位置上的n个“相邻”卷积核图上进行的，N是该层中的总卷积核数。到论文的后面，就卖一下最终的结果，Alexnet的提出，是具有跨时代意义的，是使用CNN与其他机器学习的方法进行比较，并且CNN均领先近80个点。
Paper翻译：《Apple Leaf Diseases Recognition Based on An Improved Convolutional Neural Network》
JasonYangQ的博客
08-07 1770
论文名称：《Apple Leaf Diseases Recognition Based on An Improved Convolutional Neural Network》 论文作者：Yan Q , Yang B , Wang W , et al. 发表期刊：Sensors, 2020, 20(12):3535. 论文总结： Research Gap: 改进VGG16（VGG16 + BN + GAP）对苹果叶部病害进行检测 Importance： VGG16模型的模型参数上可以减少89%..
吴恩达 深度学习 编程作业（4-1）- Convolutional Neural Networks & CNN Application
大树先生的博客
11-13 2万+
Part 1：Convolutional Neural Networks: Step by Step Part 2：Convolutional Neural Networks: Application
CNN模型 INT8 量化实现方式（一）
AI小作坊 的博客
11-27 1万+
当前CNN模型基本都是 float32，将其转换为 INT8 可以降低模型大小，提升速度，精度降低的也不太多。那么在实际中如何实现这个量化了？在网上找到了两种实践方法，这里先介绍其中的一种。 这里主要涉及两个问题：1）就是 int8量化；2）就是 int8 模型的使用 基于Caffe-Int8-Convert-Tools进行caffe模型转int8量化 在 NCNN 框架上运行 https://b...
CNN模型 int8量化实现方式（二）
AI小作坊 的博客
12-03 7615
这里介绍一个完全基于 Tensorflow 的模型量化方法，以 yolo v3 为例 1）利用现有yolo v3 模型 生成 Tensorflow pb 模型 基于 https://github.com/mystic123/tensorflow-yolo-v3 Run python ./convert_weights.py and python ./convert_weights_pb.py...
模型裁剪--Rethinking the Value of Network Pruning
AI小作坊 的博客
10-29 6529
Rethinking the Value of Network Pruning https://github.com/Eric-mingjie/rethinking-network-pruning 网络模型裁剪价值的重新思考 当前的深度学习网络模型一般都是 heavy computational cost，如何降低其计算量而尽可能保持网络性能是一个重要的研究课题。 标准的模型裁剪三部曲是：1）训...
实时目标检测--Pelee: A Real-Time Object Detection System on Mobile Devices
AI小作坊 的博客
10-26 2745
Pelee: A Real-Time Object Detection System on Mobile Devices ICLR 2018 Code: https://github.com/Robert-JunWang/Pelee CNN模型在嵌入式设备中运行成为一种趋势，为此提出了一些模型如 MobileNet, ShuffleNet, and NASNet-A，他们主要依赖于 depth...
模型加速--Slimmable neural networks
AI小作坊 的博客
11-07 2419
Slimmable neural networks ICLR2019 Code and models will be released 可瘦身的神经网络，针对不同硬件和运行环境，可以快速提供与之相适应的CNN模型来完成任务。 硬件配置好的，给一个大模型，硬件配置差的，给一个小点的模型。同一个模型，设置一下参数就可以了 At runtime, the network can adjust its w...
ImageNet 二值网络精度排名表
AI小作坊 的博客
04-24 1997
Comparison with state-of-the-arts on ImageNet using ResNet-18 (W-weights, A-activation) Bi-Real net 56.4% TBN 55.6 Binary Ensemble 61.0% 11
模型加速--CLIP-Q: Deep Network Compression Learning by In-Parallel Pruning-Quantization
AI小作坊 的博客
11-05 1918
CLIP-Q: Deep Network Compression Learning by In-Parallel Pruning-Quantization CVPR2018 http://www.sfu.ca/~ftung/ 裁剪和量化一体化框架 本文的思路比较简单，裁剪+量化一体训练模型分三个步骤： 1） Clipping 裁剪，将网络中的权重系数值接近0 的权重全部置零，当然这种置零是临时...
yolo11主干网络
最新发布
01-13
### YOLOv11 Backbone Network Architecture and Implementation In the context of object detection models, particularly with advancements to versions like YOLOv11, modifications to the backbone network ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值