61、python - 手写卷积、bn、池化、全连接、激活、ResBlock

最新推荐文章于 2024-06-11 14:13:23 发布
最新推荐文章于 2024-06-11 14:13:23 发布
阅读量514 收藏 10
点赞数 7
CC 4.0 BY-SA版权
分类专栏： CV视觉算法入门与调优 文章标签： python 开发语言
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/dongtuoc/article/details/135444336
这篇博客汇总了使用Python实现卷积、批量归一化（BN）、池化、全连接及激活函数的基础代码，旨在不依赖第三方库从零开始理解这些核心运算。尽管初始实现性能较低，但提供了逐步优化的基础。所有实现存放在指定的GitHub仓库中，鼓励读者查阅或尝试改进。

这篇算是一个总结，之前的原理部分在介绍各个算法时候，已经加入了每个算法的代码编写介绍。

给出的示例是用 python 语法来实现的，也是实现的最基础的版本，这也是我们手写算法的初衷：不调用其他的三方库，从最基础的手写算法开始，一步步完成算法实现和性能优化，这样可以更加深刻的理解算法。

当然这样第一步写出来的算法性能很差，但这不是重点，后续我们会在此基础上逐步优化性能优化。

下面整理一下之前手写的算法连接，大家可以参考或者复习一下，当然也可以根据自己的理解，来写一个你认为更好的算法实现出来。

算法（算子）的实现都放在了仓库：cv_learning_from_scratch/practice/python/ops目录下。

卷积的实现：practice/python/ops/conv2d.py · iwaihou/cv_learning_from_scratch - Gitee.com

BN 的实现：

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Python从0到100（八十三）：神经网络-使用残差网络RESNET识别手写数字
全网粉丝10w+，优快云、稀土掘金人工智能签约作者、专家博主，华为云十佳博主，985人工智能硕士。人工智能、大模型、计算机视觉、Python 爬虫— —商务合作：https://bbs.youkuaiyun.com/topics/614347534
01-08 1万+
MNIST手写数字数据库具有60,000个示例的训练集和10,000个示例的测试集，MNIST的图像，每张图片是包含28 像素× 28 像素的灰度图像（1 通道），各个像素的取值在0 到255 之间。每张图片都由一个28 ×28 的矩阵表示，每张图片都由一个784 维的向量表示（28*28=784）。
《Python星球日记》 第54天：卷积神经网络进阶
最新发布
Code_流苏：在代码中寻诗意，在实践中觅真知
05-10 1014
《Python星球日记》 第54天：卷积神经网络进阶，昨天我们学习了卷积神经网络的基础知识，今天我们将深入探索更高级的CNN架构和技术，这些知识将帮助你构建更强大、更准确的图像识别模型。
卷积神经网络卷积层BN层计算原理和卷积BN层融合
IEEE_FELLOW的博客
04-26 8221
模块融合：将一些相邻模块进行融合以提高计算效率，比如conv+relu或者conv+batch normalization+relu，最常提到的BN融合指的是conv+bn通过计算公式将bn的参数融入到weight中，并生成一个bias； 上图详细描述了BN层计算原理以及如何融合卷积层和BN层，这里进行验证： 定义三个模型： 定义模型1 ： 一层卷积层和一层BN层网络 import numpy as np import math import torch import torch.nn .
python 理解BN、LN、IN、GN归一化、分析torch.nn.LayerNorm()和torch.var()工作原理
Next_SummerAgain的博客
04-15 4299
最近在学习Vit（Vision Transformer）模型，在构建自注意力层（Attention）和前馈网络层（MLP）时，用到了torch.nn.LayerNorm(dim)，也就是LN归一化，与常见卷积神经网络（CNN）所使用的BN归一化略有不同。
【自用备忘】【学习笔记】BN及pytorch代码
weixin_39416070的博客
06-11 842
batch_normalization
numpy实现BN层
weixin_38730719的博客
08-05 699
BN层的主要逻辑是将数据进行一个标准化，然后添加了，两个可以学习的参数，来减弱标准化。 class BN(): def __init__(self,channel,weight=[],bias=[],eps=1e-05): self.channel = channel self.weight = weight self.bias = bias self.eps =eps self.running_mean = [].
BN层在卷积神经网络 应用实例（python）
04-24
主要为卷积神经网络中的bn层应用，bn层也是一个数据处理的方式，一般位于非线性激活层之前，全连接层之后，本资源涵盖4个代码，分别为bn层建立，cn层在实例中的应用，bn层测试以及有无bn层的对比，供大家更好地了解bn层的作用
精选资源
卷积神经网络实现手写数字识别（纯numpy实现）-python卷积神经网络代码.zip
09-13
卷积神经网络实现手写数字识别（纯numpy实现）--python卷积神经网络代码.zip软件架构 Model.py 是模型的类 Layer.py 是层的类，包括 Layer（基类） Linear（全连接层） Conv2d（二维卷积层） MaxPool2d（二维最大...
精选资源
MNIST.rar_MNIST手写数字体识别_mnist 手写识别_python机器学习_tensorflow_手写识别 MNI
09-25
本项目是基于Python的机器学习框架TensorFlow实现，通过构建深度卷积网络模型，实现了对MNIST数据集的高效识别，最终达到了99.71%的高准确率。 MNIST数据集是一个包含了60,000个训练样本和10,000个测试样本的数据库...
合并BN层的python脚本
08-01
这个pyhton脚本能够将BN层、Scale层的权值合并到卷积层中，进而提升网络前向推断的性能。
BN(Batch Normalization) 原理与使用过程详解
donkey_1993的博客
08-20 8万+
论文名字：Batch Normalization: Accelerating Deep Network Training by  Reducing Internal Covariate Shift 论文地址：https://arxiv.org/abs/1502.03167       BN被广泛应用于深度学习的各个地方，由于在实习过程中需要修改网络，修改的网络在训练过程中无法收敛，就添加了BN...
BN算法（Batch Normalization）
山上有只羊M
05-02 1591
原文地址：http://blog.youkuaiyun.com/hjimce/article/details/50866313 一、背景意义 本篇博文主要讲解2015年深度学习领域，非常值得学习的一篇文献：《Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift》，这个算法目...
Batch Normalization（BN）Python实现
qq_42032507的博客
07-04 4238
def Batchnorm_simple_for_train(x, gamma, beta, bn_param): """ param:x : 输入数据，设shape(B,L) param:gama : 缩放因子 γ param:beta : 平移因子 β param:bn_param : batchnorm所需要的一些参数 eps : 接近0的数，防止分母出现0 momentum : 动量参数，一般为0.9， 0.99， 0.999 running_mean ：滑动平均...
深入理解Batch Normalization批标准化
wanttifa的博客
07-24 729
Batch Normalization作为最近一年来DL的重要成果，已经广泛被证明其有效性和重要性。虽然有些细节处理还解释不清其理论原因，但是实践证明好用才是真的好，别忘了DL从Hinton对深层网络做Pre-Train开始就是一个经验领先于理论分析的偏经验的一门学问。本文是对论文《Batch Normalization: Accelerating Deep Network Training b...
[深度学习]BatchNormalization、LayerNormalization、InstanceNorm、GroupNorm、SwitchableNorm个人总结
Harry的博客
10-13 1180
个人总结1. 概述2. Batch Normalization3.Layer Normalizaiton4. Instance Normalization5. Group Normalization6. Switchable Normalization7. 相关论文连接 1. 概述 归一化层，目前主要有这几个方法，Batch Normalization（2015年）、Layer Normalization（2016年）、Instance Normalization（2017年）、Group Normaliz
深度学习（二十九）Batch Normalization 学习笔记
热门推荐
hjimce的专栏
03-12 28万+
近年来深度学习捷报连连，声名鹊起，随机梯度下架成了训练深度网络的主流方法。尽管随机梯度下降法，将对于训练深度网络，简单高效，但是它有个毛病，就是需要我们人为的去选择参数，比如学习率、参数初始化等，这些参数的选择对我们的训练至关重要，以至于我们很多时间都浪费在这些的调参上。那么学完这篇文献之后，你可以不需要那么刻意的去调整学习率这些参数。就像什么激活函数层、卷积层、全连接层一样，
数据标准化preprocessing.scale & StandardScalers
查数菇乐园
11-09 1655
标准化 我们知道，在训练模型的时候，要输入features,即因子，也叫特征。对于同一个特征，不同的样本中的取值可能会相差非常大，一些异常小或异常大的数据会误导模型的正确训练；另外，如果数据的分布很分散也会影响训练结果。以上两种方式都体现在方差会非常大。此时，我们可以将特征中的值进行标准差标准化，即转换为均值为0，方差为1的正态分布。所以在训练模型之前，一定要对特征的数据分布进行探索，并考虑是否有必要将数据进行标准化。 　　 　　标准化的方式一： 　　使用preprocessing.scale() from
《Deep Learning》学习笔记一： BN的理解。
jiachen0212的博客
11-06 2970
先给出大牛的链接： 知乎：https://www.zhihu.com/question/38102762   BN本质上解决的是反向传播过程中的梯度问题。 详细点说，反向传播时经过该层的梯度是要乘以该层的参数的，即前向有： 那么反向传播时便有： 那么考虑从l层传到k层的情况，有： 上面这个 便是问题所在。因为网络层很深，如果 大多小于1，那么传到这里的时候梯度会变得很...
BN实现
m0_37561765的博客
03-28 1827
这样应该是最接近我对论文的理解写出的bn代码，如果有问题，欢迎指正。 def batch_norm(x, n_out,train, eps=1e-05, decay=0.99,affine=True, name=None): with tf.variable_scope(name, default_name='BatchNorm2d'): moving_mean = t...
深度卷积网络实现MNIST手写数字体99.71%高精度识别
CNN通常包含多个卷积层、激活层、池化层，以及全连接层，这些层的组合使模型可以学习到从低级特征到高级特征的层次化表征。 6. Batch Normalization（BN技巧） Batch Normalization是一种技术，用于提高深度神经...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

董董灿是个攻城狮

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值