PyTorch中requires_grad和requires_grad_()的5个实战场景:从冻结层到GAN训练
在深度学习的实践中,PyTorch的自动微分机制是其核心优势之一。而requires_grad和requires_grad_()则是控制这一机制的两个关键工具。本文将深入探讨它们在五个实际场景中的应用,帮助中级开发者更好地掌握梯度计算的精细控制。
1. 迁移学习中的网络层冻结
迁移学习是计算机视觉领域的常见技术,我们通常需要冻结预训练模型的部分层,只训练新添加的分类层。这时requires_grad属性就派上了大用场。
import torch
import torchvision.models as models
# 加载预训练的ResNet模型
model = models.resnet18(pretrained=True)
# 冻结所有卷积层的参数
for param in model.parameters():
param.requires_grad = False
# 只训练最后的全连接层
model.fc = torch.nn.Linear(512, 10) # 假设我们的任务有10个类别
for param in model.fc.parameters():
param.requires_grad = True
这种冻结方式有几个关键优势:
- 显著减少计算量:不需要计算冻结层的梯度
- 防止过拟合:保留预训练模型学到的通用特征
- 加速训练:只需优化少量参数
提示:在微调大型模型时,可以尝试分层解冻策略,先解冻最后几层,再逐步解冻更多层。
2. GAN训练中的交替优化
生成对抗网络(GAN)的训练需要交替优化生成器和判别器。requires_grad_()方法在这里非常有用,因为它可以原地修改梯度计算属性。
# 简化的GAN训练循环
for epoch in range(num_epochs):
# 训练判别器
for p in generator.parameters():
p.requires_grad_(False) # 不计算生成器梯度
for p in discriminator.parameters():
p.requires_grad_(True) # 计算判别器梯度
# 判别器训练代码...
# 训练生成器
for p in generator.parameters():
p.requires_grad_(True) # 计算生成器梯度
for p in discriminator.parameters():
p.requires_grad_(False) # 不计算判别器梯度
# 生成器训练代码...
这种交替冻结的方式确保了:
- 训练判别器时,只更新判别器参数
- 训练生成器时,只更新生成器参数
- 避免了不必要的梯度计算,提高效率
3. 多任务学习中的参数共享
在多任务学习中,我们可能希望共享模型的部分层,同时让不同任务有自己特定的层。通过精细控制requires_grad,可以实现灵活的共享策略。
class MultiTaskModel(nn.Module):
def __init__(self):
super().__init__()
# 共享的特征提取层
self.shared_layers = nn.Sequential(
nn.Conv2d(3, 64, 3),
nn.ReLU(),
nn.MaxPool2d(2)
)
# 任务特定的头部
self.task1_head = nn.Linear(64*14*14, 10)
self.task2_head = nn.Linear(64*14*14, 5)
def forward(self, x, task_id):
features = self.shared_layers(x)
features = features.view(features.size(0), -1)
if task_id == 1:
return self.task1_head(features)
else:
return self.task2_head(features)
# 使用示例
model = MultiTaskModel()
# 只训练task1_head时
for p in model.shared_layers.parameters():
p.requires_grad = False
for p in model.task1_head.parameters():
p.requires_grad = True
for p in model.task2_head.parameters():
p.requires_grad = False
这种设置允许我们:
- 灵活控制哪些层参与训练
- 实现不同任务间的参数共享
- 减少模型的总参数量
4. 模型蒸馏中的梯度控制
知识蒸馏是一种将大模型(教师模型)的知识迁移到小模型(学生模型)的技术。在这个过程中,我们需要精确控制哪些部分需要计算梯度。
# 教师模型 - 不计算梯度
teacher_model = LargeModel().eval()
for p in teacher_model.parameters():
p.requires_grad = False
# 学生模型 - 需要计算梯度
student_model = SmallModel()
for p in student_model.parameters():
p.requires_grad = True
# 蒸馏损失计算
def distillation_loss(student_logits, teacher_logits, labels, temp=5.0, alpha=0.7):
# 教师模型的软目标
with torch.no_grad(): # 确保不计算教师模型的梯度
teacher_probs = F.softmax(teacher_logits / temp, dim=1)
# 学生模型的软预测
student_probs = F.log_softmax(student_logits / temp, dim=1)
# 计算KL散度损失和交叉熵损失
kl_loss = F.kl_div(student_probs, teacher_probs, reduction='batchmean') * (temp**2)
ce_loss = F.cross_entropy(student_logits, labels)
return kl_loss * alpha + ce_loss * (1 - alpha)
这种设置确保了:
- 教师模型只提供预测,不参与梯度计算
- 学生模型从教师模型的软目标中学习
- 计算效率高,不浪费资源计算教师模型的梯度
5. 参数高效微调技术
近年来,像LoRA这样的参数高效微调技术越来越流行。这些技术通常需要冻结原始模型的大部分参数,只训练少量新增参数。
class LoRALayer(nn.Module):
def __init__(self, original_layer, rank=4):
super().__init__()
self.original_layer = original_layer
# 冻结原始参数
for p in self.original_layer.parameters():
p.requires_grad = False
# 添加LoRA参数
in_features = original_layer.in_features
out_features = original_layer.out_features
self.lora_A = nn.Parameter(torch.zeros(rank, in_features))
self.lora_B = nn.Parameter(torch.zeros(out_features, rank))
def forward(self, x):
original_output = self.original_layer(x)
lora_output = x @ self.lora_A.T @ self.lora_B.T
return original_output + lora_output
# 应用LoRA到线性层
original_model = MyModel()
# 将第二个线性层替换为LoRALayer
original_model.linear2 = LoRALayer(original_model.linear2)
这种技术的关键优势:
- 只训练少量新增参数,大大减少计算量
- 保持原始模型的性能
- 可以快速适配到新任务
- 多个任务可以共享基础模型,只需保存少量适配器参数
高级技巧与注意事项
在实际使用requires_grad和requires_grad_()时,有几个高级技巧值得注意:
-
内存优化:冻结不需要的层可以显著减少显存占用,因为不需要存储这些层的中间计算结果用于反向传播。
-
性能对比:
方法 语法 是否原地操作 典型使用场景 requires_grad tensor.requires_grad = True 否 初始化时设置 requires_grad_() tensor.requires_grad_(True) 是 训练过程中动态调整 -
与torch.no_grad()的配合:在模型推断时,可以使用
with torch.no_grad():上下文管理器来完全禁用梯度计算,这比单独设置requires_grad=False更高效。 -
梯度检查点技术:对于超大模型,可以结合梯度检查点技术,只在特定层保留梯度信息,进一步优化内存使用。
from torch.utils.checkpoint import checkpoint
def custom_forward(x):
# 中间层的复杂计算
return x
# 使用梯度检查点
x = torch.rand(1, requires_grad=True)
y = checkpoint(custom_forward, x) # 只保存输入和输出,不保存中间状态
- 调试技巧:当模型不收敛时,可以检查各层的
requires_grad状态,确保梯度确实在流动到需要更新的参数。
419



被折叠的 条评论
为什么被折叠?



