pytorch笔记——储存图片数据方式、resnet50全连接层是否增加bias偏置、调参思路

最新推荐文章于 2024-08-30 08:59:25 发布
原创 最新推荐文章于 2024-08-30 08:59:25 发布 · 1.5k 阅读 · 4 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#python #pytorch #深度学习

博客探讨了深度学习模型中BGR与sRGB、NCHW与sNHWC数据格式的差异，以及PyTorch中处理图像的方式。同时，提到ResNet50最后一层全连接层的bias对结果的影响。调参策略方面，强调了深层和浅层网络在特征学习上的不同角色，并概述了迁移学习的应用场景和调参思路。
部署运行你感兴趣的模型镜像

目录

BGR v.s RGB, NCHW v.s NHWC

在Opencv中：imread,imwrite and imshow 都是用的 BGR存储数据，储存类型用HWC储存
在PIL(python)库中，使用的是BGR存储数据，同时用的是HWC储存
在pytorch中，用PIL作为默认储存图片，但是会将BGR转化成RGB，储存方式是CHW
pytroch中的 torch.utils.data.DataLoader读取得到的数据是NCHW存储，并且用的RGB方式。

resnet50中最后一层是否要加bias偏置

在输出pytorch库中的resnet50的模型的时候，发现最后一层的全连接层中有一个bias偏置。
老师讲解的时候，在全连接层和Softmax时候，公式如下，最后可以发现bias全部被约去了，所以在最后一层是否加偏置bias都不影响最终结果的计算。
在这里插入图片描述

针对卷积网络模型的调参思路

从深度学习发展至今，其实没有一个明确的调参思路，不然现如今也不会有如此多的研究生苦于给深度学习模型调参，调参是一个漫长且痛苦的过程，但针对调参，是有一个大概的思路及其方向的。
一般来说有两个原则

  • 越深一些的层，比较强调图像之间的共同特征，泛化能力强一些。
  • 越浅一些的层，则比较面对于具体一些的任务，针对不同的任务之间的不同的特征，一般是浅层。

在这里插入图片描述
迁移学习应用到其他的地方的时候，一般有以下几个思路训练模型
在这里插入图片描述

您可能感兴趣的与本文相关的镜像

PyTorch 2.7

PyTorch 2.7

PyTorch
Cuda

PyTorch 是一个开源的 Python 机器学习库，基于 Torch 库，底层由 C++ 实现，应用于人工智能领域，如计算机视觉和自然语言处理

神经网络--3.全连接加偏置b-加激活函数
huanhuan59的博客
02-24 1000
1.代码：加上偏置加上激活函数Relu，softmax函数 以iris的三种类型花为例：其中x1,x2,x3,x4分别是花萼长，花萼宽，花瓣长，花瓣宽，（一共150个数据，其中前50数据是第一种品种，中间50个数据是第二种花品种，最后50个数据是第三种花品种），分别拿每个品种的35个数据混合打乱作为train，输入进去更新求得w和b，然后用各自的最后15个数据用来测试正确率。此程序正确率偏低，程...
PyTorch 笔记Ⅹ——迁移学习ResNet18_&_VGG16
DeepHao'Blog
12-29 3886
文章目录获取所使用的NVIDIA显卡设备谷歌云盘挂载及数据读取导入必要的包数据集制作获取设备信息数据可视化ResNet18ResNet18模型获取与配置参数配置开始训练模型读取与预测PIL与Transform读取方式VGG16VGG16模型获取与配置参数配置开始训练模型读取与预测OpenCV读取方式PIL与OpenCV对比OpenCV归一化处理图像PIL归一化处理图像 获取所使用的NVIDIA显卡设备 !nvidia-smi Tue Sep 1 10:29:57 2020 +-------
深度学习笔记6：全连接层的实现
热门推荐
l691899397的博客
08-21 7万+
全连接层的推导 全连接层的每一个结点都与上一层的所有结点相连，用来把前边提取到的特征综合起来。由于其全相连的特性，一般全连接层的参数也是最多的。 全连接层的前向计算 下图中连线最密集的2个地方就是全连接层，这很明显的可以看出全连接层的参数的确很多。在前向计算过程，也就是一个线性的加权求和的过程，全连接层的每一个输出都可以看成前一层的每一个结点乘以一个权重系数W，最后加上一个偏置值b得到，即
全连接层详解
梦在黎明破晓时的博客
07-26 1万+
全连接层：（fully connected layers，FC）在整个卷积神经网络中起到“分类器”的作用。如果说卷积层、池化层和激活函数层等操作是将原始数据映射到隐层特征空间的话，全连接层则起到将学到的“分布式特征表示”映射到样本标记空间的作用。在实际使用中，全连接层可由卷积操作实现：对前层是全连接的全连接层可以转化为卷积核为1x1的卷积；而前层是卷积层的全连接层可以转化为卷积核为hxw的全局卷积，h和w分别为前层卷积结果的高和宽。全连接的核心操作就是矩阵向量乘积 y = W * x。
Pytorch修改ResNet模型全连接层进行直接训练实例
09-18
在本篇文章里小编给大家整理的是关于Pytorch修改ResNet模型全连接层进行直接训练相关知识点，有需要的朋友们参考下。
神经网络的全连接层_深度神经网络全连接层
weixin_31181381的博客
01-28 836
一、概念全连接层一般在网络的最后部分做分类输出，全连接层的有m个输入和n个输出，每一个输出都和所有的输入相连，相连的权重w都是不一样的，同时每一个输出还有一个bias。二、前向全连接假设输入是4，输出是4，每个输出点都有一个输入点的参数，一共4x4=16个w参数，每个输出点都有一个b参数，一共4个b参数。前向全连接的定量分析如下算力： FlopsBPE byte per elementinpu...
第J1周：ResNet-50算法实战与解析（pytorch版）
weixin_43414521的博客
08-27 2140
- **🍨 本文为[]中的学习记录博客**>- **🍖 原作者：[]**本周任务：1.请根据本文TensorFlow代码，编写出相应的pytorch代码2.了解残差结构3.是否可以将残差模块融入到C3当中（自由探索）本文完全根据中的内容转换为pytorch，所以前述性的内容不在一一重复，仅就pytorch的内容进行叙述。
深入浅出pytorch笔记——第五章
weixin_47210479的博客
07-18 533
模型保存与加载
【图像分类】手撕ResNet——复现ResNet（Pytorch）
2301_76278775的博客
04-22 793
存中…(img-fZ32xGnz-1713723840560)][外链图片转存中…(img-loxi8i6a-1713723840560)]
深入浅出pytorch笔记——第六章
weixin_47210479的博客
07-18 819
模型调整
线性层/全连接层
RaltBergling的博客
08-11 3240
作用类似于经典的全连接层（Fully Connected Layer），常用于连接神经网络中的不同层次。主要功能是执行线性变换，也就是对输入数据进行矩阵乘法并添加一个偏置（bias）。：有线性层将输入张量乘以权重矩阵并加上偏置项。如图所受，这种线性变换可以被表示为：也就是每个g都是由与它连线的x乘以相应权重k再加上偏值b。x 是输入张量，通常是二维的，形状为 (N,in_features)，其中 N 是批量大小（batch size），in_features 是输入的特征数。
tensorflow 全连接层bias不能0初始化
qq_36356761的博客
03-25 2373
tensorflow 全连接层bias不能0初始化？
神经网络—ResNet50网络（pytorch）
最新发布
2403_86447519的博客
08-30 2万+
神经网络—ResNet50网络代码实现（pytorch）
如何取出 tf.layers.dense 定义的全连接层的weight和bias参数值
取名为猫的狗的博客
03-25 2564
原文链接：https://www.codelast.com/%e5%8e%9f%e5%88%9b-%e5%a6%82%e4%bd%95%e5%8f%96%e5%87%ba-tf-layers-dense-%e5%ae%9a%e4%b9%89%e7%9a%84%e5%85%a8%e8%bf%9e%e6%8e%a5%e5%b1%82%e7%9a%84weight%e5%92%8cbias%e5%8f%...
当卷积层后跟batch normalization层时为什么不要偏置b(链接)
一新新的小白的博客
11-13 491
https://blog.youkuaiyun.com/u010698086/article/details/78046671
resnet50网络搭建
weixin_48433993的博客
07-15 9360
它分成两个基本模块，一个是basic block，另一个是bottle neck模块，一般层数较低的用basicblock搭建，层数较深的用bottle neck模块，resnet50用的是bottleneck搭建的，两个模块的网络结构如图下。为什么有多余的一个边，通俗讲就是为了可以搭建更深的网络，采用F(X)+X求它的梯度比F(X)的梯度更不容易导致梯度下降。另一种说法是当这一层的卷积权重不那么重要的时候就可以直接连接下一部分，也就是那条多的线，而忽略掉卷积权重这一部分。结果与图2的网络结构是一致的。
PyTorch 入坑八：卷积与转置卷积
鲁点点的博客
09-21 1953
卷积 操作 略 输入输出尺寸变化 略 PyTorch实现 nn.Conv2d(in_channels, out_channels, kernel_size, stride=1. padding=0, dilation=1, groups=1, bias=True, padding_mode='zeros') in_channels：输入通道数 ou
深度学习－全连接层
weixin_38498942的博客
08-06 3129
本篇文章将讲述关于全连接层的一些基本概念。首先将完全连接的层视为具有以下属性的黑匣子：在正向传播上1.具有3个输入（输入信号，权重，偏置）2.具有1个输出，关于反向传播1.具有1个输入（dout），其大小与输出相同。2.具有3个（dx，dw，db）输出，其大小与输入相同。 计算图的观点 为了发现每个输入如何影响输出（反向传播），最好将算法表示为计算图： 扩大批量 到目前为止，所有示例都只处理输入中的单个元素，但是通常一次我们只处理一个以上的示例。 例如，在GPU上通常同时具有256张图像的批处理。 诀窍
全连接层解析（二）——源码解析
paranoid_CNN的博客
07-07 2042
C++非常差，整理下来三个目的：第一搞懂caffe原理，第二在这个过程中会学C++，整理下来，便于回头梳理，第三和志轩的那个约定。第四努力当一个不被志轩抛弃的菜逼。- Inner_Product Layer.hpp先看Inner_Product Layer.hpp：template <typename Dtype> class InnerProductLayer : public Layer<Dt
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

暮尘依旧

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值