二值化神经网络——BNN

最新推荐文章于 2025-09-02 21:08:09 发布
原创 最新推荐文章于 2025-09-02 21:08:09 发布 · 2.5k 阅读 · 6 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文深入探讨了二值化神经网络(BNN)的核心概念，包括Sign函数和随机式二值化方法，以及它们在模型压缩中的优势。通过二值化，BNN能在保持性能的同时大幅减少内存消耗，加速模型运行。文章还讨论了BNN的训练技巧，如梯度计算和Htanh函数的应用。

二值化神经网络——BNN

前言： 最近在研究FBN的时候看到了BNN这个概念，论文中有很多的概念都和BNN相关，这里记录一下对于BNN的理解

什么BNN？

BNN全称Binarized Neural Networks中文译作二值化神经网络。其核心的思想就算把权重矩阵中权重值和各个激活函数的函数值同时二值化得到的神经网络.我们通过有两个二值化函数可以用来完成这个过程。
第一个是Sign函数

xb=Sign⁡(x)={ +1 if x≥0−1 otherwise x^{b}=\operatorname{Sign}(x)=\left\{\begin{array}{ll} +1 & \text { if } x \geq 0 \\ -1 & \text { otherwise } \end{array}\right.xb=Sign(x)={ +1−1​ if x≥0 otherwise ​
其中x是

最低0.47元/天 解锁文章
48丨PyTorch应用实战：实现二值化神经网络
Python、C++、HTML、Java
10-08 2211
二值化网络（BinaryNet）是一种深度学习网络类型，使用二进制（1和0）代替浮点数作为网络的输入和参数。这种网络类型由加拿大的Yaroslav Bulatov和Artem Babenko在2016年提出。二值化网络的独特之处在于它通过使用二进制数值（1或-1）来代替常规的浮点数，极大地减少了神经网络中的存储空间和计算量。这大大提高了神经网络的处理速度和效率，并使其在较小的处理器和设备上的应用更加可行。在传统的神经网络中，每个神经元的输出值在0到1之间取值。
二值神经网络（BNN）
m0_52889836的博客
12-28 1605
二值神经网络不是一种新的网络模型，实际上它是一种极致的量化方法——将神经网络的权重和激活量化为1bit。随着神经网络的发展，神经网络的性能越来越高，但是同时，模型的大小也越来越大。对于资源有限，功耗又有要求的边沿设备，多数神经网络模型不适合进行部署，这限制了深度学习的发展。因此出现了许多模型压缩的方法，比如知识蒸馏、剪枝、量化等等。二值神经网络（BNN）的前身可以追溯到BWN，他只是将神经网络的权值进行二值量化，激活还是浮点的形式，实现了不错的性能。
深度学习-贝叶斯神经网络（BNN）（图文讲解）
最新发布
Jigsaw的博客
09-02 874
本文探讨了AI系统如何表达"不确定性"的问题，重点介绍了贝叶斯神经网络的工作原理。文章从贝叶斯定理的基础概念出发，通过医生诊断流感的案例说明贝叶斯推理的核心思想：根据先验知识和新证据更新判断。相比传统神经网络给出确定答案，贝叶斯神经网络将参数视为概率分布，能同时提供预测结果和可信度评估。这种"诚实的不确定"在高风险领域（如医疗诊断）尤为重要，使AI系统具备"自知之明"，避免虚假确定性带来的风险。
二值神经网络（Binary Neural Network，BNN）
热门推荐
雨石
03-18 6万+
在我刚刚过去的研究生毕设中，我在ImageNet数据集上验证了图像特征二值化后仍然具有很强的表达能力，可以在检索中达到较好的效果。而Bengio大神的这篇文章，则不止于将特征二值化，而是要将权重和每层的激活值统统二值化。相比于非二值化的网络，将大量的数学运算变成了位操作。这样就节省了大量的空间而前向传播的时间，使神经网络的应用门槛变得更低。
二值化神经网络系列一：二值化神经网络介绍
tangwei2014的专栏
02-14 1万+
1. 二值化神经网络简介 2. 神经网络的二值化方法 3. 训练二值化神经网络
二值化神经网络(BNN)综述
iFlyAI的博客
11-03 6162
人工智能学习离不开实践的验证，推荐大家可以多在FlyAI-AI竞赛服务平台多参加训练和竞赛，以此来提升自己的能力。FlyAI是为AI开发者提供数据竞赛并支持GPU离线训练的一站式服务平台。每周免费提供项目开源算法样例，支持算法能力变现以及快速的迭代算法模型。 摘要: 二值化神经网络BNN由于可以实现极高的压缩比和加速效果，所以它是推动以深度神经网络为代表的人工智能模型在资源受限和功耗受限的移动端设备，嵌入式设备上落地应用的一门非常有潜力的技术。虽然目前的BNN仍然存在着 ... 二值化神经...
【深度学习——BNN】：二值神经网络BNN——学习与总结
Lily_9的博客
08-04 3万+
最近一直在做深度学习的FPGA布署，偶然研读到Bengio大神的著作《Binarized Neural Networks: Training Neural Networks with Weights and Activations Constrained to +1 or −1》： 链接：https://arxiv.org/abs/1602.02830 关于BNN，已经有不少前辈做了mark，...
PYNQ-Z2初识(四)——BNN（二值化神经网络）
战斗果冻的训练中心
07-12 4679
文章目录BNN神经网络二值化PYNQ上的BNN导入BNN压缩包通过python脚本实现解压缩案例1：MNIST数字识别基本加载载入图像格式转换通过PL端(Programmable Logic)硬件识别通过PS端(Processing System)软件识别进行自定义识别案例2：交通标志识别打开图片进行识别单个图像中的多个标志 BNN神经网络 二值神经网络是在浮点神经网络的基础上，对权值和激活值（特征值）做二值化处理，即取值是+1或-1。BNN网络结构与CNN相同，主要在梯度下降、权值更新、卷积运算上做了一些
面向网络边缘应用的新一代神经网络——微型二值神经网络在保持低功耗的同时减少对存储器的需求.pdf
09-26
二值神经网络（BNN）进一步简化了这个过程，通过使用仅1位权重和激活，消除了乘法和除法操作，转而使用加法和减法进行卷积计算。这种二值化方法显著降低了存储器需求，减少了计算功耗，使得在低功耗设备如FPGA上实现...
【论文阅读笔记】---二值神经网络（BNN）
u012101561的博客
04-27 1万+
       现在神经网络一般采用浮点计算，需要较大的存储空间和计算量，严重阻碍在移动端的应用。二值化神经网络以其高模型压缩率和快计算速度的潜在优势，近些年成为深度学习的热门研究方向。本文就是对《Binarized Neural Networks: Training Neural Networks with Weights and Activations Constrained to +1 or ...
二值神经网络（Binary Neural Networks）最新综述.md
04-02
知乎转引的此文介绍了来自北京航空航天大学刘祥龙副教授研究团队的最新综述文章 **Binary Neural Networks: A Survey**，合作者包括中国电子科技大学的宋井宽教授和意大利特伦托大学计算机系主任 Nicu Sebe 教授。在阅读基础上，做了.md的笔记。 摘要如下： 神经网络二值化能够**最大程度地降低模型的存储占用和模型的计算量**，将神经网络中**原本 32 位浮点数参数量化至 1 位定点数**，**降低了模型部署的存储资源消耗，同时极大加速了神经网络的推断过程**。但二值化会不可避免地导致**严重的信息损失**，其**量化函数不连续性也给深度网络的优化带来了困难**。 近年来许多算法被提出致力于解决上述问题，并取得了令人满意的进展。在本文中，我们对这些方法进行了全面的总结和概括，主要分为**直接量化的朴素二值化方法**，以及使用**最小化量化误差**、**改善网络损失函数和减小梯度误差**等技术的**改进二值化方法**。 本文还调研了二值神经网络的**其他实用方面**，例如**硬件友好的设计和训练技巧**。然后，我们对**图像分类，目标检测和语义分割**等不同任务进行了**评估和讨论**。最后，本文展望了**未来研究可能面临的挑战**。
二值神经网络综述（Binary Neural Networks: A Survey）【北航】.pdf
04-10
在本文中，我们对这些算法进行了全面的概述，主要分为直接进行二值化的本机解决方案，以及使用使量化误差最小化，改善网络损耗函数和减小梯度误差等技术进行优化的解决方案。我们还将研究二进制神经网络的其他实用方面，例如硬件友好的设计和训练技巧。然后，我们对不同的任务进行了评估和讨论，包括图像分类，对象检测和语义分割。最后，展望了未来研究可能面临的挑战。
二值二值神经网络（Binary Neural Networks）
dn_us的博客
09-13 2547
二值化权重和激活传播：重复步骤2和步骤4，将隐藏层1的二值化激活值与隐藏层2之间的权重进行点乘运算，得到隐藏层2的输入。假设我们的隐藏层2与隐藏层1之间的权重被二值化为{-1, +1}，表示为W2，隐藏层2的输入为H2，大小为128。假设我们的输出层与隐藏层2之间的权重被二值化为{-1, +1}，表示为W3，输出层的输入为O，大小为10。二值化激活函数：将隐藏层1的加权和输入到二值化的激活函数中，如硬件阈值函数。二值化激活函数：将隐藏层2的加权和输入到二值化的激活函数中，得到隐藏层2的二值化激活值。
二值化神经网络
xiangpijiao的博客
04-17 3695
 什么是二值化网络二值化神经网络，是指在浮点型神经网络的基础上，将其权重矩阵中权重值和各个激活函数值同时进行二值化得到的神经网络。二值化神经网络具有很好的特性，具体体现在：通过将权重矩阵二值化，一个权重值只占用一个比特，相比于单精度浮点型权重矩阵，网络模型的内存消耗理论上能减少32倍，因此二值化神经网络在模型压缩上具有很大的优势。当权重值和激活函数值同时进行二值化之后，原来32个浮点型数的乘加运算...
第一次胜过MobileNet的二值神经网络，-1与+1的三年艰苦跋涉
喜欢打酱油的老鸟
01-22 878
作者：思 近日，苹果以 2 亿美元左右价格收购初创公司 Xnor.ai 的消息引起了社区极大的关注。作为一家以二值神经网络 Xnor-net 起家的人工智能初创公司，Xnor.ai 被苹果高价收购，也许预示着低功耗、高效能的二值神经网络技术将开启广阔的应用前景。 二值网络是非常极致的一种神经网络，它的权重、激活值只有+1 与-1 两种状态。那么这么极简的神经网络到底能干什么，它的优势与限制...
二值化神经网络(BNN)基础学习(一)
weixin_30929011的博客
03-30 1628
目录 1.简介 2.优点 3.基本原理 3.1 权重和激活值二值化[3] 3.2 乘法优化 3.3 权重和激活值更新 4.结论[3] 参考资料 1.简介 ​ 二值化神经网络，在...
Binarized Neural Networks
gcf_uinque的博客
03-04 349
论文地址：https://arxiv.org/pdf/1602.02830.pdf 代码： Theano框架：https://github.com/MatthieuCourbariaux/BinaryNet Torch框架：https://github.com/itayhubara/BinaryNet 主要内容 BNNs是在CNNs的基础上，将权重和激活值量化为1bit，即取值为+1和-1，这样前...
二值网络
myc的博客
10-16 3332
本文转载于二值神经网络（Binary Neural Network，BNN） BNN算法 要想使整个神经网络二值化，那么最需要解决的问题就是反向传播时的求导。下面会通过一系列手段使的这个操作可行。 二值化手段 直觉上看，二值化的手段非常简单啊，整数是1，负数是-1就可以了。但实际上，这只是其中一种，即决定式的二值化。 还有一种是随机式的二值化 这个样的公式让我想起跟一个大神聊天时谈到的问题，...
bnn二值神经网络模型图
12-31
### 关于二值神经网络 (BNN) 的模型结构 二值神经网络（Binary Neural Network, BNN）是一种特殊的深度学习模型，其中权重和激活函数仅限于+1和-1两个值。这种极端的量化方式显著减少了存储需求和计算复杂度，使得BNN非常适合移动设备和其他资源受限环境下的部署。 #### 二值神经网络的基本架构特点 典型的二值神经网络由多个二值化的卷积层组成，这些层之间通常会穿插有批量归一化(Batch Normalization)操作和二值线性整流单元(Binary ReLU)[^2]。具体来说： - **输入层**：接收原始图像数据或其他类型的特征向量。 - **二值化处理**：在网络内部，除了第一个全连接层外，所有的权重都被转换成±1的形式；同样地，除最后一层之外的所有中间表示也被映射到这两个离散数值上[^3]。 - **特殊组件**： - 对某些改进版本如ReActNet，在传统MobileNet V1的基础上进行了调整，替换了原有的深度可分离卷积(deepwise separable convolutions)，转而采用标准形式的一维/二维卷积，并引入了跳跃连接(shortcut connections)[^4]。 - 另一种先进的设计方案MeliusNet，则进一步优化了整体性能表现，使其能够在ImageNet分类任务上的准确性接近甚至超越非二值化的轻量级模型——例如MobileNet系列。 为了帮助理解具体的构建细节，下面给出一个简化版的二值神经网络架构示意代码片段: ```python import torch.nn as nn class BinaryConvLayer(nn.Module): def __init__(self, in_channels, out_channels, kernel_size=3): super().__init__() self.conv = nn.Conv2d(in_channels, out_channels, kernel_size) def forward(self, x): # 假设这里实现了某种二值化机制 binary_weight = binarize(self.conv.weight) output = F.conv2d(x, weight=binary_weight, bias=self.conv.bias, stride=self.conv.stride, padding=self.conv.padding) return output def create_binary_network(): layers = [] current_channels = input_channels for channels in channel_sizes: layer = BinaryConvLayer(current_channels, channels) bn_layer = nn.BatchNorm2d(channels) relu_layer = nn.ReLU() layers.extend([layer, bn_layer, relu_layer]) current_channels = channels model = nn.Sequential(*layers) return model ``` 此段伪代码展示了如何定义一个简单的二值卷积模块及其组合形成完整的网络实例过程。需要注意的是，“binarize”函数代表了一个理想化的二值变换逻辑，实际实现时可能涉及更多复杂的数学运算和技术考量。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值