QiuCxiazai的博客

原创 使用Pytorch手动实现单层LSTM

背景最近在研究meta learning（元学习），正在尝试其中一个非常经典的方法叫做MAML（Model Agnostic Meta Learning)。这个方法比较特殊，需要我们维护两套模型的权重，并且进行求导，而Pytorch中封装好的Module模块不支持这样的做法（我没有找到很好的方法，如果有大神知道还望赐教），因此需要手动去实现各种层。对于卷积、BatchNorm等层，Pytorch提供了Functional接口，如torch.nn.functional.conv2d等，这些接口支持我们传入