pytorch 基础知识

手撸代码：https://zhuanlan.zhihu.com/p/666471085?utm_id=0

1.1dropout

1.2 pytorch中gather和scatter_区别

1.3 pytorch中torch.Tensor()和torch.tensor()的相同点和区别

1.4 pytorch中train和eval有什么不同

(1). model.train()——训练时候启用
启用 BatchNormalization 和 Dropout，将BatchNormalization和Dropout置为True
(2). model.eval()——验证和测试时候启用
不启用 BatchNormalization 和 Dropout，将BatchNormalization和Dropout置为False

train模式会计算梯度，eval模式不会计算梯度。

1.5 减小模型内存的方法？

模型剪枝、模型蒸馏、模型量化、模型结构优化