超级会员免费看
本文介绍了PyTorch中的hook函数，包括Tensor.register_hook()、torch.nn.Module.register_forward_hook()、register_forward_pre_hook()和register_backward_hook()，详细阐述了它们的用途、注意事项及实际操作示例。hook函数用于获取中间结果、修改梯度和输出，是深度学习模型调试和优化的重要工具。
1. hook函数
为了节省显存（内存），PyTorch会自动舍弃图计算的中间结果，所以想要获取这些数值就需要使用hook函数。hook函数在使用后应及时删除（remove），以避免每次都运行钩子增加运行负载。
这里总结一下并给出实际用法和注意点。列举了常见的4种hook函数:
- 1、
Tensor.register_hook()# 用来导出指定张量的梯度，或修改这个梯度值 - 2、
torch.nn.Module.register_forward_hook() - 3、
torch.nn.Module.register_backward_hook() - 4、
torch.nn.Module.register_forward_pre_hook()
2. hook函数说明
2.1 Tensor.register_hook()
用来导出指定张量的梯度，或修改这个梯度值。
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
