pytorch dataloader踩坑

pytorch在加载数据集的时候需要用户自定义数据集代码返回data和label。

torch.utils.data.DataLoader中有一个参数collate_fn，它需要传入一个函数，该函数的功能将list转换为Tensor。torch.utils.data.DataLoader内部实现了一个默认的collate_fn函数：default_collate。

问题来了，当你的label是一个list时，如果用户自定义的数据集_getitem__方法在返回data和label时，label中各元素的数据类型不一致时，torch.utils.data.DataLoader内部的default_collate函数会抛出类似下面的错误：

RuntimeError: tried to construct a tensor from a int sequence, but found an item of type float at index (76)

原因是函数default_collate在将list转为Tensor时，只根据list的第一个元素判断要转成的Tensor类型。

 

解决方法：

__getitem__返回label时，将list形式的label先转换为numpy数组；或者手动将label的list中个元素类型统一。