Pytorch在已有网络基础上微调

这个问题应该很简单,而且之前看过类似的demo,结果忘干净了,现在只实现了一个比较naive的方法。

我们以vgg为例,假定我们的网络继承自VGG,那么

from torchvision.models.vgg import VGG

class DemoNet(VGG):
    def __init__(self):
        super().__init__
        self.load_state_dict(models.vgg16(pretrained=True).state_dict())

但如果我们的期望的输入通道数不为3,那么上述最后一行就会出现错误,提示尺寸不匹配。我们可以先将其输入层砍掉,然后限制load_state_dict时不需要完全匹配,即 strict=False。代码更改为

from torchvision.models.vgg import VGG

class DemoNet(VGG):
    def __init__(self):
        super().__init__
        del self.features[0]
        self.load_state_dict(models.vgg16(pretrained=True).state_dict(), strict=False)

以上可以加载模型,但与我们期望的还差一点,就是没有输入层。比较笨的解决办法是在此基础上添加输入层,如下

from torchvision.models.vgg import VGG

class DemoNet(VGG):
    def __init__(self):
        super().__init__
        del self.features[0]
        self.load_state_dict(models.vgg16(pretrained=True).state_dict(), strict=False)            

        temp = [nn.Conv2d(1, 64, kernel_size=3, stride=1, padding=1)]
        for i in list(self.features):
            temp.append(i)
        self.features = nn.Sequential(*temp)

印象中有简单的方法,这里先记录下来,后续会了再添加。

PyTorch可以基于已有的词向量进行微调,也可以使用已有的词向量作为初始化参数来训练自己的词向量。 首先,你需要下载预训练好的词向量,例如GloVeWord2Vec等。然后,你可以使用`torchtext`库来加载这些词向量。这里以GloVe为例: ```python import torchtext.vocab as vocab glove = vocab.GloVe(name='6B', dim=100) ``` 这将下载名为"GloVe.6B.100d.txt"的预训练词向量,并将其存储在`~/.cache/torch/text/vocab`中。这里的`dim`参数指定词向量的维度,可以根据需要进行更改。现在,你可以使用`glove`对象来获取任何单词的词向量表示: ```python vector = glove['word'] ``` 接下来,你可以使用这些预训练好的词向量来初始化你的词嵌入层。例如,假设你正在训练一个神经网络,其中包含一个词嵌入层。你可以将预训练的GloVe词向量作为该层的初始化参数: ```python import torch.nn as nn class MyModel(nn.Module): def __init__(self, vocab_size, embed_dim): super(MyModel, self).__init__() self.embedding = nn.Embedding(vocab_size, embed_dim) self.embedding.weight.data.copy_(glove.vectors) ``` 这里的`vocab_size`是你的词汇表大小,`embed_dim`是你希望词嵌入的维度。通过将`self.embedding.weight.data`设置为`glove.vectors`,你就可以使用预训练的词向量来初始化词嵌入层的权重。 最后,你可以使用PyTorch的自动求导功能来微调这些词向量以适应你的任务。例如,你可以在训练过程中使用反向传播来更新词嵌入层的权重。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值