pytroch获取中间变量/feature

原创 已于 2022-12-12 18:31:29 修改 · 656 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#pytorch

于 2022-12-12 18:26:29 首次发布

方法1

使用torchvision.models.feature_extraction的方法create_feature_extractor

from torchvision.models.feature_extraction import create_feature_extractor
import torch
import torchvision

model = torchvision.models.resnet18()

for n,m in model.named_modules()
最低0.47元/天 解锁文章
pytorch-实现LSTM实现多变量输入多步预测
ViolenceTemper的博客
04-27 1934
多变量输入实现多步预测完整代码实战示例
Pytorch迁移学习之猫狗分类；create_feature_extractor提取模型向量
weixin_42357472的博客
03-06 5781
1.AttributeError: ‘VGG’ object has no attribute 'fc’错误 解决：fc换成classifier[6]，并且带【索引】，索引值可以直接打印模型看到结构层 model= models.vgg16(pretrained=True) for param in model.parameters(): #params have requires_grad=Tr...
pytorch得到中间层输出
持之以恒
12-08 942
讲解视频 https://www.bilibili.com/video/BV1z7411f7za?spm_id_from=333.999.0.0 关键代码 import torch.nn as nn import torch class AlexNet(nn.Module): def __init__(self, num_classes=1000, init_weights=False): super(AlexNet, self).__init__() self
pytorch 提取中间层的特征
qq_29007291的博客
03-30 3912
一、背景 需要提取网络中间层的特征，用于特征工程或者可视化 二、解决方案 先说好，有很多解决的方法呢，这里给出一种我认为是简单的，官方提供的功能 https://pytorch.org/vision/main/generated/torchvision.models.feature_extraction.create_feature_extractor.html#torchvision.models.feature_extraction.create_feature_extractor 核心代码如下 fro
【PyTorch】获取特征图并可视化
专注人工智能，主攻CV
05-20 1555
都说神经网络是个黑盒子，其内部具体的工作原理也模糊不清，但是，对卷积神经网络输出的特征图进行可视化能够大概地知悉网络每个阶段的作用，能够为网络设计提供一些思路。在此记录一下本人工作中常用的特征图提取和可视化方法。
Pytorch获取中间层输出
知识搬运者
06-30 1346
这种方式是在前向传播进行中还没得到最终输出时，将所需要的中间层输出从前向数据流中提取出来，利用到了pytorch中的register_hook()函数。这一函数可以为模型中的某个module设置一个回调函数，形如： hook(module, input, output) -> None or modified output 函数的输入值为module的名字、module的输入和输出。通过前置定义一个数组，在hook()函数中将对应module的输入或输出加入该数组以实现中间层提取。实际过程中
【pytorch】改造model
Ken的博客
06-19 805
Mobilenet_v2 import torchvision.models as models model=models.mobilenet_v2() 通过查看model的结构，我们需要保留的是model.features，根据需要，修改model.classifier (classifier): Sequential( (0): Dropout(p=0.2, inplace=False) (1): Linear(in_features=1280, out_features=1000.
pytorch 减小显存消耗，优化显存使用， 计算模型的中间变量
jishuqianjin的博客
01-16 2936
一、 模型如下： i is 0, m is RFBNet(   (base): ModuleList(     (0): Conv2d(1, 24, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))     (1): ReLU(inplace)     (2): Conv2d(24, 24, kernel_size=(3, 3), stride...
Traceback (most recent call last): File "/home/lab306/ln/faster-rcnn-pytorch-master/train.py", line 451, in <module> fit_one_epoch(model, train_util, loss_history, eval_callback, optimizer, epoch, epoch_step, epoch_step_val, gen, gen_val, UnFreeze_Epoch, Cuda, fp16, scaler, save_period, save_dir) File "/home/lab306/ln/faster-rcnn-pytorch-master/utils/utils_fit.py", line 27, in fit_one_epoch rpn_loc, rpn_cls, roi_loc, roi_cls, total = train_util.train_step(images, boxes, labels, 1, fp16, scaler) File "/home/lab306/ln/faster-rcnn-pytorch-master/nets/frcnn_training.py", line 321, in train_step losses = self.forward(imgs, bboxes, labels, scale) File "/home/lab306/ln/faster-rcnn-pytorch-master/nets/frcnn_training.py", line 290, in forward roi_cls_locs, roi_scores = self.model_train([base_feature, sample_rois, sample_indexes, img_size], mode = 'head') File "/home/lab306/anaconda3/envs/faster-rcnn-pytorch-master/lib/python3.8/site-packages/torch/nn/modules/module.py", line 1501, in _call_impl return forward_call(*args, **kwargs) File "/home/lab306/anaconda3/envs/faster-rcnn-pytorch-master/lib/python3.8/site-packages/torch/nn/parallel/data_parallel.py", line 169, in forward return self.module(*inputs[0], **kwargs[0]) File "/home/lab306/anaconda3/envs/faster-rcnn-pytorch-master/lib/python3.8/site-packages/torch/nn/modules/module.py", line 1501, in _call_impl return forward_call(*args, **kwargs) File "/home/lab306/ln/faster-rcnn-pytorch-master/nets/frcnn.py", line 104, in forward roi_cls_locs, roi_scores = self.head.forward(base_feature, rois, roi_indices, img_size) File "/home/lab306/ln/faster-rcnn-pytorch-master/nets/classifier.py", line 102, in forward fc7 = self.classifier(pool) File "/home/lab306/anaconda3/envs/faster-rcnn-pytorch-master/lib/python3.8/site-packages/torch/nn/modules/module.py", line 1501, in _call_impl return forward_call(*args, **kwargs) File "/home/lab306/anaconda3/envs/faster-rcnn-pytorch-master/lib/python3.8/site-packages/torch/nn/modules/container.py", line 217, in forward input = module(input) File "/home/lab306/anaconda3/envs/faster-rcnn-pytorch-master/lib/python3.8/site-packages/torch/nn/modules/module.py", line 1501, in _call_impl return forward_call(*args, **kwargs) File "/home/lab306/anaconda3/envs/faster-rcnn-pytorch-master/lib/python3.8/site-packages/torch/nn/modules/container.py", line 217, in forward input = module(input) File "/home/lab306/anaconda3/envs/faster-rcnn-pytorch-master/lib/python3.8/site-packages/torch/nn/modules/module.py", line 1501, in _call_impl return forward_call(*args, **kwargs) File "/home/lab306/ln/faster-rcnn-pytorch-master/nets/resnet50.py", line 38, in forward residual = self.downsample(x) File "/home/lab306/anaconda3/envs/faster-rcnn-pytorch-master/lib/python3.8/site-packages/torch/nn/modules/module.py", line 1501, in _call_impl return forward_call(*args, **kwargs) File "/home/lab306/anaconda3/envs/faster-rcnn-pytorch-master/lib/python3.8/site-packages/torch/nn/modules/container.py", line 217, in forward input = module(input) File "/home/lab306/anaconda3/envs/faster-rcnn-pytorch-master/lib/python3.8/site-packages/torch/nn/modules/module.py", line 1501, in _call_impl return forward_call(*args, **kwargs) File "/home/lab306/anaconda3/envs/faster-rcnn-pytorch-master/lib/python3.8/site-packages/torch/nn/modules/batchnorm.py", line 171, in forward return F.batch_norm( File "/home/lab306/anaconda3/envs/faster-rcnn-pytorch-master/lib/python3.8/site-packages/torch/nn/functional.py", line 2450, in batch_norm return torch.batch_norm( torch.cuda.OutOfMemoryError: CUDA out of memory. Tried to allocate 392.00 MiB (GPU 0; 23.68 GiB total capacity; 7.65 GiB already allocated; 356.88 MiB free; 8.04 GiB reserved in total by PyTorch) If reserved memory is >> allocated memory try setting max_split_size_mb to avoid fragmentation. See documentation for Memory Management and PYTORCH_CUDA_ALLOC_CONF
最新发布
05-14
在PyTorch中，可以使用`del`语句手动删除中间变量，并调用`torch.cuda.empty_cache()`来清理缓存。特别是在循环中处理每个批次时，及时释放变量可以防止显存泄漏。 另外，分析显存使用情况可以帮助定位问题。使用`...
深入浅出pytorch笔记——第三章，第四章
weixin_47210479的博客
07-14 1744
基于FMN时装数据集进行分类实战演练来学习pytorch
Pytorch获取特征图
吹吹自然风
09-02 2011
pytorch如何获取多个特征图
Pytorch文档部分说明
aliuxuwhy的博客
09-07 571
1：关于冻结网络的部分参数的方法；Pl：此时可以让提取特征的卷积层进行冻结权重参数，使用已经训练好的参数 ； 而对于自定义的全连接层，仍然需要更新权重参数 ； 2：pytorch的广播运算： 一：先判断是否可以进行广播： 如果 pytorch 张量满足以下条件,那么就可以广播： 每个张量至少有一个维度。 在遍历维度大小时, 从尾部低维度开始遍历, 进行广播的tensor二者维度要么相同，要么其中一个为1，要么其中一个维度不存在 ； 违背以上原理不可进行广播； 二：可广播后计算的形式为： ...
Pytorch学习笔记：hook操作——提取特征、梯度等信息
qq_50001789的博客
08-09 1774
Pytorch学习笔记：hook操作——提取特征、梯度等信息  PyTorch在每一次运算结束后都会释放中间变量，从而节省内存空间，例如释放模型中间得到的特征数据、反向传播过程中的梯度等等，因此就有了hook方法，可以操作中间变量，如保存梯度、保存中间特征数据，也可以对中间变量做修改，如增大梯度、限制梯度范围等等，核心在于hook函数的定义。
pytorch-obtain feature maps from network
ENJOY-NOW
05-29 1711
1. import torch import torch.nn as nn import torchvision.models as models from torch.autograd import Variable import time class toyNet(nn.Module): def __init__(self, pretrained_model, layers
【Pytorch】六行代码实现：特征图提取与特征图可视化
热门推荐
capsule的博客
04-27 1万+
当时是利用实现的，但是有很大缺陷，只能获取到一级的子模块的特征图输出，无法获取内部二级子模块的输出。今天补充另一种Pytorch官方实现好的特征提取方式，非常好用！
No module named ‘torchvision.models.feature_extraction‘
weixin_43566977的博客
10-27 4236
No module named 'torchvision.models.feature_extraction'
Pytorch提取预训练模型特定中间层的输出
m0_58256026的博客
11-21 1万+
本博客整理了各种提取预训练模型中间层输出的方法，指出了不同方法的优缺点，方便大家根据自己的需要进行选择。希望帮助大家节省资料查阅的时间，顺利实现自己的任务目标。
ModuleNotFoundError: No module named ‘torchvision.models.feature_extraction‘ 解决
东皇太一在此的博客
11-24 735
一看就是版本太老的问题，但是难就难在把这个升级了，其他的包怎么兼容呢？特别是和pytorch有关的就相当麻烦，因为我用的是gpy版本的pytorch，还需要考虑显卡的版本，所以就更可怕了。
pytorch 对原有模型进行修改，创建新的backbone的方法
weixin_40564352的博客
10-10 955
在使用pytorch进行建模时，有时候需要重新提取模型的某个特征曾，比如：在更换不同的backbone时。torchvison 提供了专门的函数create_feature_extractor()来对中间特征层进行提取，达到重构backbone的目的。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值