爱在深秋

pytorch编程相关的几个问题

如果你有两个子模型，想要将它们合在一起形成一个更大的模型，可以一起来看看。

在 PyTorch 中，可以使用torch.nn模块来搭建深度学习模型。具体步骤如下：定义一个继承自的类，这个类将作为我们自己定义的模型。在类的构造函数__init__()中定义网络的各个层和参数。可以使用torch.nn模块中的各种层，如Conv2dLinear等。在类中定义前向传播函数forward()，实现模型的具体计算过程。将模型部署到 GPU 上，可以使用将模型移动到指定的 GPU 设备上。

如果用于图像处理，tensor shape为：B×C×H×W，则可以直接设置dim = 1。UserWarning:Implicit dimension choice for softmax has been deprecated. 消除警告的办法_York1996的博客-优快云博客_userwarning: implicit dimension choice for softmaxtorch.nn.Softmax()用法_Lins H的博客-优快云博客。

pytorch与tensorflow中均有nn.dropout,两者之间的使用方法，下面将介绍。

这个原因是torchvision的版本太久了，这个InterpolationMode是新版本中的函数，

可以直接pip install pillow==9.3.0进行跟更新~

Anaconda报错：Conda SSL Error: OpenSSL appears to be unavailable on this machine. OpenSSL is required to download and install packages

博主最近炼丹的时候发现，显卡不太够用，想要加几张显卡，但是主板上PCIE 专用的插口有限，于是查看了主板上剩余的插口，一起来看看吧。

博主最近在搭建网络的时候，先搞清楚到底哪些参数进行了训练，网络数据流是不是和自己的预期一样。更新日志：2022.09.16 1更。

这个是因为visdom.server未启动的原因

博主最近搭建网络的时候，需要调用不同的GPU，实现训练的加速，有时间会出现显卡现存分布不均的情况，有时间有的显卡温度特别高。[source]在模块级别上实现数据并行。此容器通过将mini-batch划分到不同的设备上来实现给定module的并行。在forward过程中，module会在每个设备上都复制一遍，每个副本都会处理部分输入。在backward过程中，副本上的梯度会累加到原始module上。batch的大小应该大于所使用的GPU的数量。

PyTroch中我们经常使用到Numpy进行数据的处理，然后再转为Tensor，但是关系到数据的更改时我们要注意方法是否是共享地址，这关系到整个网络的更新。本篇就In-palce操作，拷贝操作中的注意点进行总结。torch.detach() —新的tensor会脱离计算图，不会牵扯梯度计算torch.clone() — 新的tensor充当中间变量，会保留在计算图中，参与梯度计算（回传叠加），但是一般不会保留自身梯度。...

使用torch.clone()获得的新tensor和原来的数据不再共享内存，但仍保留在计算图中，clone操作在不共享数据内存的同时支持梯度梯度传递与叠加，所以常用在神经网络中某个单元需要重复使用的场景下。需要注意的是view返回的Tensor与源Tensor是共享data的，但是依然是一个新的Tensor（因为Tensor除了包含data外还有一些其他属性），两者id（内存地址）并不一致。detach()函数可以返回一个完全相同的tensor,与旧的tensor共享内存，脱离计算图，不会牵扯梯度计算。..

在调试计算模型梯度的时候突然蹦出：:1: UserWarning: The .grad attribute of a Tensor that is not a leaf Tensor is being accessed.(持续更新，)

之所以想到用 pytorch ，主要是因为不想在网络模块中调用 opencv 的函数。调用 opencv 函数的基本步骤如下：先把 pytorch 的 tensor 转到 cpu 上，然后转换成 numpy，再调整到 uint8 格式，然后才能调用。

一、前言。

resnet搭建