两个神经网络怎么联合训练？

两个神经网络怎么联合训练？

比如说第一个为resnet18，输出为512维向量，我把它分成16个32维的数据，每一个数据再进行处理后（比如说裁剪中间16维）输入到第二个网络，loss怎么backward？优化器是不是设置为第二个网络的的参数，如果retain_graph不设置为true，就会导致loss无法backward，若设置为true则会计算爆炸，OOM。