lei_qi的博客

1、输入命令fuser -v /dev/nvidia*查看显卡占用2、使用命令kill -9 [PID]删除占用进程的PID（即上图中的PID一列

https://github.com/aaa/****.ipynb将https://github.com/ 替换为https://colab.research.google.com/github/ 就可以直接在colab 打开github 的 ipynb

解决Bert 报错：AttributeError: ‘str’ object has no attribute ‘softmax’需要将这里改为：output= self.bert(input_ids = batch_seqs, attention_mask = batch_seq_masks,token_type_ids=batch_seq_segments, labels = labels)loss = output.losslogits = output.logits...

使用torch.nn.DataParallel多卡训练模型之后，加载模型前也需要打开多卡读取模型。我最近使用多卡训练了一个模型。保存的方式是state_dict的方式。然后在加载模型的时候就一直出错。raise RuntimeError(‘Error(s) in loading state_dict for {}:\n\t{}’.format(RuntimeError: Error(s) in loading state_dict for BertMultiClassification:Missi

开始配置网络，由于ImageNet是识别1000个物体，我们的狗的分类一共只有120，所以需要对模型的最后一层全连接层进行微调，将输出从1000改为120model_ft = models.resnet50(pretrained=True) # 这里自动下载官方的预训练模型，并且将所有的参数层进行冻结for param in model_ft.parameters():param.requires_grad = False这里打印下全连接层的信息print(model_ft.fc)num_fc

PyTorch中的view的用法torch.view(a,b,…)，其中参数a=2,参数b=3决表示将一维的向量 重构成2*3维的张量。torch.view(-1)或者torch.view(a,-1).表示-1参数是需要计算机自己计算的。

ReduceLROnPlateau：这是常用的学习率策略之一。应用本策略时，当特定的度量指标，如训练损失、验证损失或准确率不再变化时，学习率就会改变。通用实践是将学习率的原始值降低为原来的1/2～1/10。ReduceLRInPlateau的实现如下所示。...

L1正则化： 权重系数的绝对值之和被添加到成本中。通常称为权重的L1范数。L2正则化 :所有权重系数的平方和被添加到成本中。通常称为权重的L2范数Pytorch 提供了一种使用L2正则化的简单方法，就是通过在优化器中启用weight_decay 参数：model = Architecturel(10,20,2)opotimizer = torch.optim.Adam(model.parameters(),lr=1e-4,weight_decay=1e-5)参考：Pytorch 深度学习.