pytorch训练小工具收集

KPer_Yang

已于 2023-03-04 21:04:16 修改

阅读量197

点赞数 1

CC 4.0 BY-SA版权

分类专栏：各种速查表文章标签： pytorch

于 2023-02-10 22:21:07 首次发布

本文链接：https://blog.youkuaiyun.com/KPer_Yang/article/details/128978191

各种速查表专栏收录该内容

7 篇文章

订阅专栏

文章介绍了如何在PyTorch中对不同网络层设置不同的学习率，例如只对第一层卷积应用权重衰减。同时展示了如何使用torch.unsqueeze函数增加张量的维度。此外，提到了利用tensorboardX进行训练过程的可视化，这需要安装tensorboard和tensorboardX库。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1、对不同的网络层配置不同的学习率

import torch 

optimizer = torch.optim.Adam([
    dict(params=model.conv1.parameters(), weight_decay=5e-4),
    dict(params=model.conv2.parameters(), weight_decay=0)
], lr=args.lr)  # Only perform weight-decay on first convolution.

2、增加维度

>>> x = torch.tensor([1, 2, 3, 4])
>>> torch.unsqueeze(x, 0)
tensor([[ 1,  2,  3,  4]])
>>> torch.unsqueeze(x, 1)
 tensor([[ 1],
        [ 2],
        [ 3],
        [ 4]])

3、可视化tensorboardX

pip install tensorboard
pip install tensorboardX