TF：CNN里面的weight，bias，shape，从形状的角度理解整个过程

最新推荐文章于 2025-02-23 20:06:02 发布
最新推荐文章于 2025-02-23 20:06:02 发布
阅读量1.9w 收藏 160
点赞数 50
CC 4.0 BY-SA版权
分类专栏： AI 文章标签： Machine Learning CNN AI Tensorflow
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_40904071/article/details/90636096

了解过机器学习的人都知道通用公式：y = w * x + b
weight：权重比
bias：偏斜量

但是很多人不清楚CNN（卷积神经网络）里面的weight 和bias在哪儿，是怎么参与运算的。这篇文章就为大家揭晓。

首先介绍shape（形状）：

在CNN里面永远绕不开一个概念：shape：形状
在测试中，我们输入了100*100的原始图片 “一.png”：
在这里插入图片描述
然后将它转换为 shape[100,100] 的数组，作为整个神经网络的输入：

输入 -> 输出（标签）：

输入： [100, 100] 的数组横着放就变成了 [1, 100 * 100]，表示有1个 [100 * 100] 原始输入。
输出： 输出的最终结果也就是数据的标签，图像分类，用onehot表示38个分类，所以形状为 [1, 38]，表示有1个 [38] 标签。
过程： 所以整个CNN神经网络在做的事情就是把 [1,100 * 100] 输入向量，映射到，[1, 38] 标签向量。

通常情况，我们需要更多的数据进行训练和测试，所以准备的数据如下：

训练数据：[142, 100 * 100]，142幅 [100 * 100] 训练图片
训练标签：[142, 38]，

最低0.47元/天 解锁文章

200万优质内容无限畅学
tf第十一讲：CNN图像识别的实战代码
weixin_43178406的博客
06-03 1万+
本文主要介绍了tf第十一讲：CNN图像识别的实战代码，希望能对学习TensorFlow的同学有所帮助。 文章目录 1. API讲解 2. 实战代码
【YOLO11改进 - Backbone主干】RepViT（Revisiting Mobile CNN From ViT Perspective）：新型的轻量级卷积神经网络（CNN）
专注于图像领域，主要研究内容包括计算机视觉和深度学习，特别是在图像分类、目标检测和图像生成等方面有深入的研究和实践经验。
11-24 361
【YOLO11改进 - Backbone主干】RepViT（Revisiting Mobile CNN From ViT Perspective）：新型的轻量级卷积神经网络（CNN）
Neural Networks 中的 Weights 和 Biases
aliencyl的博客
07-07 776
我们知道，神经网络中，每个 neuron 是具有连接性的，但我们也知道，为了能使我们的算法达到预期目的，每个 neuron 的连接强度是不同的。我们通过训练模型，会得出某些 neuron 的连接性会比较强，而有一些会比较弱，那么强度的控制就是通过我们的 weights 来控制。在不断的迭代算饭中，我们也会不断 fine-tuning 我们的 weights，使我们的模型不会 overfitting。以上就是 Weights 和 bias 的基本概念。
tf-CNN（一）Tensorflow创建一个简单的CNN模型
xue_csdn的博客
03-25 1849
参考：https://www.jianshu.com/p/e2f62043d02b 利用tensorflow框架和Python语言编写一个简单的卷积神经网络结构CNN来识别手写数字（mnist数据集方便调用） 网络一共包括4层，分别是 卷积层conv1+池化pooling 卷积层conv2+池化pooling 全连接层fc1+dropout 全连接层fc1+softmax（预测） i...
bert：weight和bias
专心致志写BUG的博客
09-15 1537
权重 weights （w1，w2w3）是每个输入信号的权重值，以上面的（1x2x3）的例子来说，x1的权重可能是092，x2的权重可能是02，x3的权重可能是0.03。当然权重值相加之后可以不是1。 偏移 bias 还有个b是干吗的?一般的书或者博客上会告诉你那是因为Sy=wx+bs，b是偏移值，使得直线能够沿v轴上下移动。这是用结果来解释原因，并非b存在的真实原因。从生物学上解释，在脑神经细胞中，一定是输入信号的电平/电流大于某个临界值时，神经元细胞才会处于兴奋状态，这个b实际就是那个临界值。 .
weight&bias新手教程
muttonandcarrot的博客
11-09 4258
最近看了李沐老师的机器学习教程，在课中提到了weight&bias这个调参工具，但是在网上查教程时，找到的大多是官方文档的翻译或者是看不懂的教程，所以有了这个教程。
卷积神经网络（CNN）中的权重（weights）和偏置项（bias）
搏博的专栏
11-18 8414
2. 数量：卷积层中的权重数量取决于卷积核的大小、数量以及输入数据的通道数，卷积核表示为（卷积核宽、卷积核高、通道数、卷积核数）。综上所述，权重和偏置项是卷积神经网络中的核心参数，它们通过学习和调整来捕捉输入数据中的特征，并优化模型的性能。在卷积神经网络（CNN）中，权重（weights）和偏置项（bias）是两个至关重要的参数，它们在网络的学习和推断过程中起着关键作用。3. 模型优化：通过训练过程中的权重和偏置项更新，网络可以逐渐减小损失函数的值，从而提高模型的准确性和泛化能力。
【科研小小白】神经网络参数（weight权重、bias偏移量）初始化方法 （未完待续）
imblackcat的博客
08-03 1725
在神经网络中，参数的初始化和处理是非常重要的步骤，因为它们对模型的训练速度和性能有着直接的影响。：权重的初始化通常需要遵循一些特定的分布，如均匀分布、正态分布或者是特定的常数。：权重归一化是一种常用的参数处理方法，可以帮助提高模型的训练速度和性能。：在神经网络的训练过程中，权重的更新是通过反向传播和优化算法来实现的。PyTorch的模块提供了一系列的优化算法，如SGD、Adam和RMSProp等。：权重正则化是一种防止过拟合的技术，常见的方法有L1正则化和L2正则化。在PyTorch中，可以在优化器中设置。
tf第十二讲：TextCNN做文本分类的实战代码
热门推荐
weixin_43178406的博客
08-21 1万+
本文主要介绍了tf第十二讲：TextCNN做文本分类的实战代码，希望能对学习TensorFlow的同学有所帮助。 文章目录 1. API讲解 2. 实战代码
【YOLOv11改进- 主干网络】YOLOv11+RepViT: 从ViT的角度重新审视Mobile的CNN助力YOLOv11有效涨点；
qq_41304809的博客
02-23 508
本文给大家带来的改进内容是在YOLOv11中更换主干网络为RepViT，助力YOLOv11有效涨点，论文通过集成轻量级 ViT 的高效架构设计，逐步增强了标准轻量级 CNN（即 MobileNetV3）的移动友好性。这最终产生了一个新的纯轻量级 CNN 系列的主干网络。
TensorFlow初始化LSTM参数weight 和 bias
LaiCheng的博客
11-25 4910
TensorFlow 初始化 LSTM 参数 weight 和 bias 前言： 前一篇博客介绍了如何可视化神经网络的每一层，很简单的做法就是将训练好数据作为神经网络的初始化参数进行前向传播。在LSTM中我们可以从官方文档看到能初始化的参数只有weight。在可视化时我们往往需要传入weight和bias，或者载入模型参数继续训练也需要载入w和b。 初...
TF之CNN：Tensorflow构建卷积神经网络CNN的简介、使用方法、应用之详细攻略
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
05-11 1万+
TF之CNN：Tensorflow构建卷积神经网络CNN的简介、使用方法、应用之详细攻略 目录 TensorFlow 中的卷积有关函数入门 1、tf.nn.conv2d函数 案例应用 1、TF之CNN：Tensorflow构建卷积神经网络CNN 2、使用简单的函数来替代上面的定义 TensorFlow 中的卷积有关函数入门 TensorFlow...
tf-使用cnn深入mnist
shiqi,bao的博客
04-20 871
实现高效运算为了用python 实现高效的数值运算，常常会使用如numpy类的函数库，会把类似矩阵乘法这样的复杂运算使用其他外部语言来实现。但从外部计算切回Python的每一个操作，仍然是一个很大的开销。tf为了避免这些开销，故不单独的运行单一的复杂运算，而是先用图来描述一系列计算操作，然后全部放在一起到外部运行。交叉熵mnist训练使用交叉熵表示成本（cost），定义为： Hytest(y)=−
CNN推理和动态shape
qq_41389330的博客
08-17 773
cnn的动态输入
深度篇—— CNN 卷积神经网络(四) 使用 tf cnn 进行 mnist 手写数字 代码演示项目
天下所弃，不过其纪。世间事，在人，在志。
02-09 994
返回主目录 返回 CNN 卷积神经网络目录 上一章：深度篇—— CNN 卷积神经网络(三)关于 ROI pooling 和 ROI Align与 插值 本小节，细说 使用 tf cnn 进行 mnist 手写数字 代码演示项目 本项目 github 代码：https://github.com/wandaoyi/tf_cnn_mnist_pro 五. TF_CNN_M...
Weight&Biases教程
Alex抱着爆米花的博客
03-03 8894
Weights & Biases 可以帮助跟踪你的机器学习项目。使用工具记录运行中的超参数和输出指标(Metric)，然后对结果进行可视化和比较，并快速与同事分享你的发现。
浅谈神经网络中的bias
AI浩
01-26 5503
1、什么是bias？ 偏置单元（bias unit），在有些资料里也称为偏置项（bias term）或者截距项（intercept term），它其实就是函数的截距，与线性方程 y=wx+b 中的 b 的意义是一致的。在 y=wx+b中，b表示函数在y轴上的截距，控制着函数偏离原点的距离，其实在神经网络中的偏置单元也是类似的作用。 因此，神经网络的参数也可以表示为：(W, b)，其中W表示参数矩阵，b表示偏置项或截距项。 2、bias的计算方式？ 神经网络结构中对偏置单元的计算处理方式有两种， 　（1）设置
tf_cnn_benchmark 显存问题
runzhliu大数据/容器日记
04-07 752
文章目录1 Overview2 Reason3 Summary 1 Overview 在测试 vGPU 的功能的时候，给容器分配了半张 GPU 卡，然后想用 Tensorflow Benchmark 测试一下，却发现半张 V100 32GB 显存从一开始就被占满了，但是 vGPU 只给 16 GB，这样发现 Tensorflow 无法正常运行。 2 Reason 因为 Tensorflow 默认会...
CVPR2019 Relation-Shape CNN、ICCV2019 Dense Point论文及源码学习
Polaris
03-13 3008
Ralation-Shape CNN 通过深度学习将关系学习从2D学习拓展到3D上。 参考： bilibili: 中科院模式识别国家重点实验室在读博士生刘永成：深度学习在3D点云处理中的探索 github: yongchengliu ...
CNN卷积神经网络里面的卷积核，权重，偏置具体是如何实现的
最新发布
03-17
<think>好的，我现在需要帮助用户理解CNN中卷积核、权重和偏置的具体实现方式。首先，我得回顾一下CNN的基础知识，确保自己的理解正确。用户提到的引用[1]和[2]提供了部分背景，比如CNN的结构特点，权值共享，以及FPGA实现中的卷积核和偏置。接下来，我需要分解问题，逐步解释这三个要素的实现过程。 首先，卷积核的实现。卷积核本质上是权重矩阵，用于提取特征。在训练过程中，这些权重通过反向传播和梯度下降进行更新。需要说明卷积核的初始化和更新机制，可能还要提到不同框架中的具体实现方式，比如TensorFlow或PyTorch中的卷积层定义。 然后是权重的部分。这里可能要注意区分卷积核作为权重的一部分，以及全连接层中的权重。不过在CNN中，卷积层的权重主要就是卷积核的参数。需要解释这些权重如何存储，如何在计算中应用，比如通过滑动窗口与输入数据进行卷积操作。 接下来是偏置的实现。每个卷积核通常会有一个偏置项，加到卷积结果上。要说明偏置的作用，比如调整输出值的分布，增强模型的表达能力。在代码实现中，偏置通常作为一个可学习的参数，初始化为零或小随机数，并在训练过程中更新。 然后，具体实现细节可能需要涉及前向传播和反向传播的过程。前向传播中，输入数据与卷积核进行卷积运算，加上偏置，然后通过激活函数。反向传播时，计算梯度并更新权重和偏置。这部分可能需要用数学公式表达，比如卷积操作的数学表示，梯度下降的更新公式。 还需要考虑实际代码的例子，比如用PyTorch或TensorFlow展示如何定义卷积层，如何查看权重和偏置的参数。例如，在PyTorch中，使用nn.Conv2d会自动初始化权重和偏置，用户可以通过.weight和.bias属性访问这些参数。 另外，用户提到的引用[2]提到基于FPGA的实现，其中卷积核和偏置是通过训练得到的，后面会加到结果中。这可能涉及到硬件实现中的参数存储和计算优化，但用户可能更关注算法层面的实现，所以可以简要提及，但重点放在软件框架中的实现方式。 需要注意用户可能混淆权重和卷积核的概念，需要明确卷积核本身就是权重矩阵，而偏置是额外的参数。同时，要强调权值共享的概念，即同一卷积核在整个输入上滑动，共享相同的权重，这减少了参数数量，是CNN的优势之一。 最后，生成相关问题时要围绕实现细节、参数更新、具体代码示例、数学原理等方面展开，确保问题能够帮助用户进一步深入理解。</think>### 卷积核、权重和偏置在CNN中的具体实现方式 #### 1. **卷积核的实现** 卷积核（也称为滤波器）是CNN的核心组件，本质是一个可学习的权重矩阵。其实现过程包括： - **初始化**：卷积核的权重通常使用随机初始化（如高斯分布或Xavier初始化），例如在PyTorch中，使用`nn.Conv2d(in_channels, out_channels, kernel_size)`定义卷积层时，权重会自动初始化[^2]。 - **运算过程**：输入数据与卷积核进行**滑动窗口点积运算**，公式为： $$ \text{Output}(i,j) = \sum_{m=0}^{k-1} \sum_{n=0}^{k-1} \text{Input}(i+m, j+n) \cdot \text{Kernel}(m, n) + b $$ 其中$k$为卷积核尺寸，$b$为偏置。 - **参数更新**：通过反向传播计算梯度，利用优化器（如SGD、Adam）更新权重[^1]。 #### 2. **权重的存储与共享** - **权值共享**：同一卷积核在输入的不同位置共享相同的权重，极大减少了参数量。例如，一个$3 \times 3$的卷积核仅需9个参数，无论输入尺寸如何[^1]。 - **存储结构**：在代码中，权重以多维张量形式存储。例如，`out_channels`个卷积核的权重张量维度为`(out_channels, in_channels, kernel_height, kernel_width)`（以PyTorch为例）。 #### 3. **偏置的作用与实现** - **功能**：偏置为每个卷积核的输出添加一个常数偏移，增强模型表达能力。 - **初始化与更新**：偏置通常初始化为0或小随机数，训练过程中与权重同步更新。例如，在TensorFlow中，可通过`tf.keras.layers.Conv2D(use_bias=True)`启用偏置[^2]。 #### 4. **代码示例（PyTorch）** ```python import torch.nn as nn # 定义卷积层：输入通道3，输出通道64，卷积核3x3，包含偏置 conv_layer = nn.Conv2d(in_channels=3, out_channels=64, kernel_size=3, bias=True) # 前向传播 input_tensor = torch.randn(1, 3, 32, 32) # 输入尺寸(Batch, C, H, W) output = conv_layer(input_tensor) # 查看权重和偏置 print("卷积核权重维度:", conv_layer.weight.shape) # (64, 3, 3, 3) print("偏置维度:", conv_layer.bias.shape) # (64,) ``` #### 5. **数学视角的梯度更新** 假设损失函数为$L$，卷积核权重为$W$，偏置为$b$，学习率为$\eta$，则更新过程为： $$ W \leftarrow W - \eta \cdot \frac{\partial L}{\partial W}, \quad b \leftarrow b - \eta \cdot \frac{\partial L}{\partial b} $$ ---
评论 7
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值