Pytorch模型定义与训练技巧

Pytorch模型定义与训练技巧

 

1.模型定义方式——Sequential、ModuleList、ModuleDict

一、Sequential（两种方式——Direct List & Ordered Dict）：

#Sequential是手动一层层排列，较直接，且有顺序，定义简单模型的时候用

#类似直接创建一个列表，并依次写上每一层

#类似创建一个字典，每一层都有“键”相对应，可以给每一层标注一个名字

二、ModuleList（像建立一个列表，有一些列表的功能，如append）：

#ModuleList只定义了一个存储了各个层的列表，但没有定义层与层之间的先后顺序，因此要想定义出一个模型，还需用forward定义一个向前传