xx_xjm的博客

无

无

无

无

dsa

无

学习

学习

学习

基础

基础

笔记

非局部均值滤波

笔记

笔记

笔记

笔记

笔记

笔记

笔记

sampler

rpc

补充

分布式训练

基础知识

loss.backward（）反向传播计算的梯度是根据loss的计算方式来的。如果loss用到了整个batch，则梯度是整个batch的梯度之和，也可能是平均，取决于loss的计算方式，如果loss只用到了batch中的某一个图，则梯度只会是这一个图的影响。...

结论：1：append没有进行复制，只是进行了引用：2：list（）函数相当于浅拷贝：参考自python的list赋值方法-浅拷贝与赋值 - JavaShuo 所以如果是将列表a添加到列表b，一般采用b.append(list(a)); 另外，列表浅拷贝的方法有三种： 图片也参考自上面网址-----------------------------------------------------------------------...

1：sys.stdin.readline：只能从cmd读取一行输入，读完之后就退出输入，程序继续执行2：sys.stdin.readlines:可以从cmd读取多行输入，但是怎么终止退出还不清楚，网上说的ctrl+d或者ctrl+z都不行，多加一个enter也不行（我的是在pycharm中，连接远程服务器linux系统），反正很奇怪3：可以用下图方式读取多行，并按enter结束（加strip是因为默认结尾会有\n）： 4：如何把输入的数...

两者本质上是一个东西，都是用来求自注意力的，但具体而言还是有一些差别；1：首先说Non-local，它是像素级别的self-attention,算的是图片中各个像素点对指定像素点的影响；2：transformer我们拿swin-transformer和vision-transformer，来举例子。如下可，我们可以看到，两者都对图像进行了分块，不同的是swin-transformer先分了大块，再在大块里面分小块，而VIT就只分为固定的快，然后他们在做self-attention的时候，其实是算

1：BN，对于一个batch中的样本，取不同样本同一通道的数据进行标准化。理解下图，N表示batch大小为N（也就是说这个batch包含N个样本，样本也可以理解为图片），C表示每个样本的通道数，比如常用的一张图片有RGB三个通道，H*W就是样本的大小，也就是图片的高和宽，图中可以理解为将图片flatten了。所以，如图，BN就是对同一batch下不同样本，同一通道做标准化图和内容均参考自：深入理解Batch Normalization原理与作用 | 电子创新网 Imgtec 社区 (eetrend.co

absl.flags类似于tensorflow.flags:参考自：Tensorflow项目中--FLAGS=tf.flags.FLAGS - 剪掉辫子的人 - 博客园 (cnblogs.com)FLAGS = tf.flags.FLAGS #FLAGS保存命令行参数的数据而absl.app类似于tf.app:(1条消息) (tensorflow)——tf.app.run()使用方法的解释_咖啡味儿的咖啡的博客-优快云博客_app.run(main)...

1:model.eval()会固定网络的nn.BN层和nn.Dropout层，nn.BN层在train的时候针对每一个batch会计算一次均值方差，然后最后归纳整个训练集的均值方差，所以在test的时候就不能再让BN层的均值方差发生变化了。参考文章：(1条消息) Pytorch model.eval()的作用_嘿，兄弟，好久不见的博客-优快云博客_model.eval()作用2：loss.backward(retain_graph = True)，首先，forward一次会建立一个计算图，正常back

我们要明确，python导入机制的搜索顺序是，先在内存（sys.modules)中寻找，再到内置模块（builtin）寻找，最后再依照搜索路径(sys.path)寻找。1:理解sys.modules，这是一个全局变量，在从python程序启动就加载到了内存，用于保存当前已导入(加载)的所有模块名和模块对象。在python的模块查找中，sys.modules起到缓存作用，避免了模块的重复加载。此处参考自：https://blog.youkuaiyun.com/u014294083/article/details/10

取整比较好理解，就是向下取整：取余其实是根据取整来决定的，比如这里-17 // 5 = -4,那么5 * -4 = -20，所以余数就是-17 -（-20） = 3，反过来，如果是17 // -5 = -4, 所以 -5 *（-4）=20，所以余数为17-20 = -3，所以可以稍微总结一下，余数的符号其实和除数的符号一致，基本思想就是这样。实验结果如下：...

两者包含的其实是你所定义的网络中继承自nn.Module的模块，比如nn.Relu,nn.Conv2d等，并不是你整个网络的forward（）结构，而且你自定义的函数模块也是没有的，实验如下：

torch.gather(input, dim, index, out=None) → Tensor:其实就是用来挑选输入张量中特定位置的值的但有一点需要注意的是这里的dim和index之间的关系：这里的dim不再是说对输入进行操作，而是说index中的序列号应该按照输入中的哪个维度来排列重新理解Pytorch中torch.gather函数祥解 - 简书 (jianshu.com)eg1：（例子参考自：Pytorch中torch.gather函数祥解 - 简书 (jianshu.com)）

总结：1：转置卷积可以用正常卷积来理解，对于没有padding的卷积来说，其转置卷积等同于 a: 对输入进行四边补零，单边补零的数量为k-1 b:将卷积核旋转180°，在新的输入上进行直接卷积参考自：(4条消息) 抽丝剥茧，带你理解转置卷积（反卷积）_史丹利复合田的博客-优快云博客_转置卷积2：当卷积涉及到补零以及strides不等于1的情况的时候，其转置卷积步骤如下： 这里要对转置卷积的输入进行插值补零等操作，原因是要保证数...

简单来说，这只是一个辅助函数，帮你弄清楚底层计算机运行情况而已。参考自：Pytorch剖析器及Pytorch模型的逐层分析 - 那抹阳光1994 - 博客园 (cnblogs.com)

参考自：用PIL中Image.open打开图像并转换为np.asarray时遇到的坑_鱼木木和木木鱼的博客-优快云博客_np.asarray(img)

需要模块：logging步骤：①：创建logger：logger = logging.getLogger(name)，name是字符串格式的模块名字，可自行定义，这之后的日志格式中的%(name)s 对应的是这里的模块名字。②：设置logger的等级：logger.setLevel(logging.DEBUG/INFO/.....)只有等级大于等于设置级别的日志才会被记录③：设置日志发送目的地：常用的ch_hander = logging.StreamHandler(stream =输出到哪