PyTorch入门3

PuTorch查看网络的结构以及参数的提取

我们使用如下的网络结构:

import torch.nn as nn
class NetWorks(nn.Module, ABC):
    def __init__(self):
        super(NetWorks, self).__init__()
        layer1 = nn.Sequential()
        layer1.add_module('conv1', nn.Conv2d(3, 32, 3, 1, padding=1))
        layer1.add_module('relu', nn.ReLU6(True))
        layer1.add_module('MaxPool1', nn.MaxPool2d(2, 2))
        self.layer1 = layer1
        
        layer2 = nn.Sequential()
        layer2.add_module('conv2', nn.Conv2d(32, 64, 3, 1, padding=1))
        layer2.add_module('relu', nn.ReLU6(True))
        layer2.add_module('MaxPool2', nn.MaxPool2d(2, 2))
        self.layer2 = layer2
        
        layer3 = nn.Sequential()
        layer3.add_module('conv3', nn.Conv2d(64, 128, 3, 1, padding=1))
        layer3.add_module('relu', nn.ReLU(True))
        layer3.add_module('MaxPool3', nn.MaxPool2d(2, 2))
        self.layer3 = layer3
        
        layer4 = nn.Sequential()
        layer4.add_module('fc1', nn.Linear(2048, 512))
        layer4.add_module('relu', nn.ReLU(True))
        layer4.add_module('fc2', nn.Linear(512, 64))
        layer4.add_module('relu', nn.ReLU(True))
        layer4.add_module('fc3', nn.Linear(64, 10))
        self.layer4 = layer4
        
        def forward(self, inputs):
            net = self.layer1(inputs)
            net = self.layer2(net)
            net = self.layer3(net)
            net = net.view(net.size(0), -1)
            out = self.layer4(net)
            return out
model = NetWorks()
print(model)

1.网络结构查看

通过print(model)我们就能够查看我们设计的网络结构如下:

2.网络结构的提取:

我们在网络上下载到的pytorch的网络模型，如果我们不需要使用该模型中的所有的层，只需要获取部分层的话，我们该如何做呢？

首先我们介绍一下nn.Moduled 几个重要的方法:

1. children():该方法会返回下一级模块的生成器，以我们上面模型为例那么该方法就会返回self.layer1,self.layer2,self.layer3,self.layer4的生成器，我们可以通过for
   循环将该结构依次输出,我们就能查看到这些层以及这些层的参数:
   
2. moudels():该方法会返回所有的模块的迭代器，我也不知道有啥用。
3. name_children(),name_modules():这两个方法都不只会返回迭代器，而且还会返回该层结构的名字:下面我们来提取网络中我们需要的层。
   例如提取前两层:

model = NetWorks()
children = model.children()
n_m = nn.Sequential(*list(children)[:2]) # 此处必须加*号，不然会报错[TypeError: list is not a Module subclass]
print(n_m)

如果只是提取卷积层使用如下方法就可以提取卷积层

model = NetWorks()
conv_model = nn.Sequential()
for layer in model.named_modules():
    if isinstance(layer[1], nn.Conv2d):  # isinstance用于判断是否为nn.Conv2d类型
        conv_model.add_module(layer[0], layer[1])

参数的提取以及自定义初始化

当我们不止需要提取层的结构，还需要对该层的参数进行初始化该怎么做呢？
下面我将介绍nn.Module()里面的两个跟参数有关的方法:

1. named_parameters():该方法会返回网络层的名字和参数的迭代器

model = NetWorks()
for param in model.named_parameters():
    print(param[0]) # 第0个元素为该层的名字，后面的是该层的参数

2. parameter()：该方法会返回网络的全部参数的生成器

权重初始化
因为我们提取的权重都Variable，所以只需要取出Variable的data，然后处理即可

model = NetWorks()
for m in model.modules():
    if isinstance(m, nn.Conv2d):
        nn.init.normal(m.weight.data)

这样我们就能够重新初始化权重了