ws_nlp_的博客

simcse用pytorch计算loss

# Linear -> Norm -> ReLu -> Dropout -> Linear; self.middel_norm = nn.LayerNorm(input.size()[1:], elementwise_affine=False) # batch * vec_dim, norm for vec_dim self.middel_relu = nn.ReLU() self.middle_dropout = nn.Dropout(p=0.2...

为了更好的体现网络层次，或者为了预测时利用部分网络，我们需要拆分网络。首先网络的初始化，一定要注意super，并且将使用的其他类（网络）一定要在初始化中进行初始化，然后才能在forward中使用第一层网络class DANTextBert(nn.Module): def __init__(self): super(DANTextBert, self).__init__() self.encoder = BertModel.from_pretrained('ber

1.在加载了部分参数以后，直接另参数的requires_grad = Falseself.encoder = BertModel.from_pretrained('bert-base-chinese') for i, p in enumerate(self.parameters()): p.requires_grad = False2.优化器中去掉requires_grad = False 的参数self.optimizer = torch.optim.Ad

下面我们来对pytorch中tensor的截取/裁剪操作来做实验from pprint import pprintx = torch.randn(2, 3, 4)pprint(x)tensor([[[ 1.4983, 0.6645, 1.8412, -1.0799],[-0.0073, 0.4617, -1.9119, 0.0667],[-0.6426, 0.0552, 0.0991, -0.4575]],[[-1.7065, 0.4007, 0.5763, 1.4644],