关于使用 hook 获取神经网络内部features时遇到的问题和解决方案的记录

关于使用 hook 获取神经网络内部features时遇到的问题和解决方案的记录

一、错误代码：

feat = []
def hook(module, inputs, outputs):
    feat.append(inputs.clone().to(device))

二、报错：

AttributeError: 'tuple' object has no attribute 'clone'
原因分析：inputs是一个由多个Tensor类型数据作为元素组成的Tuple数据。

三、解决方案思考：

由于后续操作都需要使用Tensor数据，
而直接使用torch.FloatTensor(Tuple)将Tuple转换为Tensor会因为Tuple内有多个元素而报错，
所以，决定直接读取Tuple内的Tensor数据。然后发现Tuple内就一个Tensor元素。。。。。所以我之前白担心了，还以为要考虑整合Tensor到一块儿。。。。

四、解决后的代码：

feat = []
def hook(module, inputs, outputs):
    feat.append(inputs[0].clone().to(device))