qq_35091353的博客

学习率是神经网络训练中最重要的超参数之一,针对学习率的优化方式很多,Warmup是其中的一种1、什么是WarmupWarmup是在ResNet论文中提到的一种学习率预热的方法，它在训练开始的时候先选择使用一个较小的学习率，训练了一些epoches或者steps(比如4个epoches,10000steps),再修改为预先设置的学习来进行训练。2、为什么使用Warmup由于刚开始训练时,模型的权重(weights)是随机初始化的，此时若选择一个较大的学习率,可能带来模型的不稳定(振荡)，选择Warmu

1、函数1.1 作用torch.matmul是tensor的乘法，输入可以是高维的。2 、举例当输入都是二维时，就是普通的矩阵乘法，和tensor.mm函数用法相同。当输入有多维时，把多出的一维作为batch提出来，其他部分做矩阵乘法。下面看一个两个都是3维的例子：将b的第0维1broadcast成2提出来，后两维做矩阵乘法即可。再看一个复杂一点的，是官网的例子：首先把a的第0维2作为batch提出来，则a和b都可看作三维。再把a的1broadcat成5，提取公因式5。（这样

1、函数介绍torch.nn.functional.normalize(input, p=2, dim=1, eps=1e-12, out=None)1.1 作用将输入的数据（input）按照指定的维度(dim)做p范数(默认是2范数)运算，即将某一个维度除以那个维度对应的范数。2、举例2.1 输入为一维Tensordim=0，可以看到每一个数字都除以了这个Tensor的2范数：12+22+32=3.7416\sqrt{1^{2} + 2^{2} + 3^{2}} = 3.741612+2

1、函数介绍class torch.nn.Linear（in_features，out_features，bias = True ）1.1 作用对传入数据应用线性变换：y = A x+ b1.2 参数in_features - 每个输入样本的大小out_features - 每个输出样本的大小bias - 如果设置为False，则图层不会学习附加偏差。默认值：True1.3 举例m = nn.Linear(20, 30)input = autograd.Variable(torch

1、函数介绍class torch.nn.AdaptiveMaxPool2d(output_size, return_indices=False)1.1 作用该函数提供了2维的自适应最大池化操作，对于任何大小的输入，可以得到维度为(H,W)的输出，其中，输入特征和输出特征的channel不会变化。1.2 参数output_size: 输出特征的尺寸，可以用（H,W）表示得到的输出return_indices: 如果设置为True，会返回输出的索引。对 nn.MaxUnpool2d有用，默认值

Pytorch中的L2正则项—weight decay本节的主要内容分为2大部分：正则化与偏差—方差分解1、正则化Regularization定义2、什么是方差？3、正则化RegularizationPytorch中的L2正则项—weight decay。1、正则化与偏差—方差分解1.1 正则化Regularization定义所谓正则化就是一系列用来减少方差的策略、方法。1.2 什么是方差？误差可理解为：偏差、方差与噪声之和。即误差=偏差+方差+噪声。偏差度量了学习算法的期望预测

conda创建python3.6的虚拟环境创建虚拟环境不会让pytorch环境和其他环境冲突，因此，强烈建议创建虚拟环境a、创建虚拟环境输入命令：-n后边的py36是虚拟环境名，你可以修改；python是3.6版本的，如果你的anaconda安装的是3.7版本的就改成3.7conda create -n py36 python=3.6还可以在创建虚拟环境的时候，加上自己会用到的基本的包...

今天在用pytocrch框架运行代码的时候，出现了错误MoudleNotFoundError:No module named ‘tensorboardX’，一时情急，赶紧百度，有人说是路径不对，但是也有人说是缺少模块（果真如此）,在经过亲身试错后，发现这是因为没有安装tensorflow引起的，tensorboardX是在tensorboard的基础上做出来，需要tensorflow支持。1....

Pytorch 的版本和 CUDA 不匹配今天在跑代码的时候，碰到了 Pytorch 的版本和 CUDA 不匹配的问题安装完在CUDA 10.1上运行的pytorch(1.4.0)后，跑代码的时候出现了下述问题：出现这种问题，也是由于种种原因造成的，开始的时候没有给配置环境，自己安装了个最新版的torch，再加上自己一时的大意，在安装的pytorch的时候，其实自己检查了学校服务器上CUD...

1、torch1.4的安装刚开始用torch的时候，按照网上博客的教程，使用官网上的安装办法，安装的是应用在CUDA10.1上的torch1.4 ，即2、torch.cuda.is_available()结果为false的错误但是，最近在琢磨使用nn.DataParallel进行多GPU训练，可是，在运行的过程中，遇到了torch.cuda.is_available()结果为false的错误，即可见，当模型代码使用了torch1.4的深度学习框架时，其没法使用gpu(因为cuda处于不可用状态)

联系方式：e-mail: FesianXu@163.comQQ: 973926198github: https://github.com/FesianXu文章目录基模型参数加载　　　从持久化模型开始　　　加载模型　　　部分加载模模型Fine-Tune给每一层或者每个模型设置不同的学习率Pytorch内置的模型Reference在使用pytorch的时候，经常有需要使用一些通用的模型模块作为子模块，比如著名的resnet,densenet,alexnet,in

1、均方差损失函数loss, x, y 可以是向量或者矩阵，i 是下标。很多的loss函数都有size_average和reduce两个布尔类型的参数。因为一般损失函数都是直接计算 batch 的数据，因此返回的loss 结果都是维度为 (batch_size, ) 的向量。(说的是一般的情况，这里返回的没有维度为(batch_size,)这种情况)2、nn.MSELoss()参数介绍(1)如果 reduction = ‘none’，直接返回向量形式的 loss(2)如果 redu