qq_28057379的博客

pytorch 转 onnxonnx转tensorrt

pytorch多gpu并行训练 - 知乎

pytorch学习： 构建网络模型的几种方法 - denny402 - 博客园

PyTorch 学习笔记（四）：权值初始化的十种方法 - 知乎

(一)、model.train()和model.eval()分别在训练和测试中都要写，它们的作用如下：(1). model.train()启用 BatchNormalization 和 Dropout，将BatchNormalization和Dropout置为True(2). model.eval()不启用 BatchNormalization 和 Dropout，将BatchNormalization和Dropout置为False(二)、总结(1). 在训练模块中千万不要忘了写model

with torch.no_grad() 是一个上下文管理器，由它管理的代码块不需要计算梯度，也不会进行反向传播，因此在训练阶段常用于验证集计算loss、在测试阶段，则需要加上该代码，避免进行损失梯度的计算...

Q：在给Dataloader设置worker数量（num_worker）时，到底设置多少合适？这个worker到底怎么工作的？ train_loader = torch.utils.data.DataLoader(train_dataset, batch_size=batch_size, shuffle=True,

跑一下代码，一看便知。示例代码：import torchimport torch.nn as nninput = torch.randn(3, 3)print(input)sm = nn.Softmax(dim=1)print(sm(input))test1 = torch.log(sm(input))print(test1)print(abs(test1[0][0] + test1[1][2] + test1[2][1]) / 3)loss = nn.NLLLoss()targe