超级会员免费看
本文介绍了PyTorch中优化模型参数的方法，包括使用SGD和Adam优化器，定义和训练数据加载器，以及模型的构建。通过自定义dataset和dataloader，利用损失函数如CrossEntropyLoss和MSELoss，配合优化器进行参数更新。文章还讨论了超参数的重要性，以及如何在推理阶段避免梯度计算。此外，提到了序列建模时的padding操作和使用Embedding层处理one-hot向量。最后，展示了如何使用timm库替换基础模型并进行模型迁移学习。
参考：OPTIMIZING MODEL PARAMETERS
梯度反向传播算法，更新参数
SGD -> Adam
dataset -> dataloader，train_dataloader训练，test_dataloader测试，迭代器
模型继承Module类，__init__(self)，定义层，Flatten()展平，和Sequential()，有序的容器
forward()函数，前向的计算，logits输出类别数，10个类别
Hyperparameters，超参数，不参与优化，影响模型的效果
Loss Function，损失函数、目标函数，分类函数CrossEntropyLoss，回归函数MSELoss
Optimizer，优化器，SGD，对参数进行更新，torch.optim.SGD()，更新模型参数，model.parameters()
优化前，调用optimizer.zero_grad()，计算梯度los
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
