pytorch的dataloader

最新推荐文章于 2024-07-10 22:30:43 发布

sou_

最新推荐文章于 2024-07-10 22:30:43 发布

阅读量215

点赞数

本文链接：https://blog.youkuaiyun.com/qq_44167992/article/details/88540958

版权

本文深入解析了dataloader.py中_DataLoaderIter的__next__方法。该方法负责从数据集中加载一个批次的数据，通过迭代样本索引并使用collate_fn进行数据整合。特别地，文章详细解释了当num_workers为0时的同进程加载流程，包括如何获取数据索引、应用collate_fn以及内存固定操作。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

dataloader.py中_DataLoaderIter

    def __next__(self):
        if self.num_workers == 0:  # same-process loading
            indices = next(self.sample_iter)  # 一个batch中数据的index，列表一共有batch_size个值
            batch = self.collate_fn([self.dataset[i] for i in indices])
            if self.pin_memory:
                batch = pin_memory_batch(batch)
            return batch