weiyuxin的博客

pytorch 加载模型错误：RuntimeError: Error使用 torch.save() 保存权重时，通过 model.module.state_dict() 获取模型权重。包装后的模型参数的关键字会比没用 nn.DataParallel 包装的模型参数的关键字前面多一个"在使用nn.DataParallel之前就先读取模型，然后再使用nn.DataParallel。加载模型时使用 nn.DataParallel。保存权重前增加 module。把 module. 删掉。手动添加 module.

pytorch保存和载入模型

pytorch tensor 中的 和 detach() 的用法在写代码时经常能见到通过 操作生成一个和原本 tensor 值相同的新 tensor为什么需要同时使用 和 ，接下来通过代码进行说明生成两个 tensor，并且求梯度输出结果：可以看到 a, b 的梯度分别为 [2., 2.]，[1., 1.]使用 a_=a.detch() 脱离计算图在上面的代码中加上 并且使用 计算和 backward()输出结果：此时 a 的梯度为 none，因为 生成了一个新的 tensor 并且从计算图

pytorch中常见的损失函数参考自：https://mp.weixin.qq.com/s/2oUNYUwkrVUN1fV4zDER7Q文章目录pytorch中常见的损失函数1.交叉熵损失交叉熵简介BCELossBCEWithLogitsLossNLLLossCrossEntropyLoss2.KL散度KL散度简介KLDivLoss3.平均绝对误差（L1范数）L1范数简介L1Lossl1_loss04 均方误差损失（L2范数）L2范数简介MSELossmse_loss5.铰链损失函数Hinge loss

tensor的创建方法总结直接创建code作用torch.tensor()直接创建torch.from_numpy(ndarray)从numpy创建tensor按值创建code作用torch.tensor()直接创建torch.from_numpy(ndarray)从numpy创建tensortorch.zeros() torch.zeros_like()创建全零张量torch.ones() torch.ones_