11、数据加载器构建、优化与大规模数据集处理指南

数据加载器构建、优化与大规模数据集处理指南

1. 数据加载器构建

1.1 数据加载器概述

构建数据加载器并非要从头创建一个类，而是借助如 NumPy、Hugging Face、PyTorch 或 TensorFlow 等软件框架来处理所需数据。利用预构建的数据加载器遍历批次数据，并将其用于训练循环。

1.2 构建自定义数据加载器 - 以 Stable Diffusion 为例

• 输入训练数据集构建 ：构建数据加载器的难点在于创建输入训练数据集。拥有有效的数据集对象后，获取有效的数据加载器只需将最新语法复制到脚本中并确保其有效。可以使用字典来创建自己的训练数据集。
• 自定义数据加载函数 ：在 Jupyter notebook 中开发脚本和函数，然后将其复制到 SageMaker 训练作业的主脚本中。Hugging Face 的 load_dataset() 函数无法处理自定义数据集，因此需要构建自己的数据加载器后端，并指向 DatasetDict() 对象。

graph LR
    A[准备数据] --> B[创建自定义数据加载器后端]
    B --> C[指向 DatasetDict() 对象]
    C --> D[获取有效数据加载器]

1.3 数据索引构建

为避免浪费 GPU 时间将整个数据集加载到