weixin_43118280的博客

Pytorch 按层调整学习率 第一步：先获取每一层的一个layer_scale layer_scales = list(layer_decay ** (num_layers - i) for i in range(num_layers + 1)) 第二步：把

torch.optim.Optimizer base class 理解torch.optim.Optimizer参数理解.params.defaults类的属性类的方法1.Optimizer.state_dict2.Optimizer.load_state_dict3. Optimizer.zero_grad3. Optimizer.add_param_group(self, param_group) torch.optim.Optimizer torch.optim.Optimizer(params, d