torch中构建模型的几种方法总结

1. 模型构建

1.1 继承nn.Module

该方法是最常用的方法，一个nn.Module应该包含一些层及返回前向传播方法的输出值

from torch import nn
class LinearNet(nn.Module):
    def __init__(self, n_feature):
        super(LinearNet, self).__init__()
        self.linear = nn.Linear(n_feature, 1)

    def forward(self, x):
        y = self.linear(x)
        return y

net = LinearNet(num_inputs)
# 打印网络结构
print(net)

输出

LinearNet(
  (linear): Linear(in_features=2, out_features=1, bias=True)
)

查看nn.Linear源码，最重要的两部分如下：

    def __init__(self, in_features: int, out_features: int, bias: bool = True) -> None:
        super(Linear, self).__init__()
        self.in_features = in_features
        self.out_features = out_features
        self.weight = Parameter(torch.Tensor(out_features, in_features))
        if bias:
            self.bias = Parameter(torch.Tensor(out_features))
        else:
            self.register_parameter('bias', None)
        self.reset_parameters()

    def forward(self, input: Tensor) -> Tensor:
        return F.linear(input, self.weight, self.bias)

从源码中可以看出，我们输入的是【输入特征维数】和【输出特征维数】对应代码self.linear = nn.Linear(n_feature, 1)，然后根据这两个维数在__init__函数中初始化权重参数和偏置权重，最后在前向函数中将我们的输入与权重矩阵做乘法得到输出。

1.2 使用nn.Sequential()方法

该方法有以下几种方式：
方式1

net = nn.Sequential(nn.Linear(num_inputs, 1)
                    # 还可添加其他层
                    )

方式2

net = nn.Sequential()
net.add_module("linear", nn.Linear(num_inputs, 1))
# net.add_module...继续添加模块

方式3

from collections import OrderedDict
net = nn.Sequential(OrderedDict([("linear", nn.Linear(num_inputs, 1))
                                 # (....)
                                 ]))

2. 初始化模型参数

在构建模型中，有时模型参数不需要初始化，因为很多都已经随机初始化过了，如果想重新初始化成一定的分布，可以按照如下方式进行：

from torch.nn import init
# 对于1.1中继承nn.Module的方式，按如下方式初始化
init.normal_(net.linear.weight, mean=0, std=0.01)
init.constant_(net.linear.bias, val=0)

# 对于1.2中使用nn.Sequential(),按如下方式
init.normal_(net[0].weight, mean=0, std=0)
init.constant_(net[0].bias, val=0)

想要打印训练后的参数值和上面的方法类似

print("weight:", net.linear.weight)

3. 查看模型参数

使用net.parameters()查看模型可学习参数，该方法返回一个生成器

for param in net.parameters():
    print(param)