Emery_learning的博客

数据最终被加载到 GPU 的内存中，在这里进行模型的训练。是 PyTorch 中的一个类，它负责以批次的方式迭代地加载数据，并支持多线程数据预处理，这可以大大加速数据的准备过程。这里需要注意的是，数据从磁盘到 CPU 再到 GPU 的过程是分步骤进行的，而不是一次性全部加载。：在数据被加载到内存之后，CPU 可能会对数据进行预处理，比如数据增强、归一化、类型转换等操作。来分批次地加载数据，这样可以有效地管理内存使用，避免因一次性加载过多数据而导致的内存溢出。的多线程特性，以保证数据的顺序。

1GB =210MB =220KB =230≈≈10亿字节模型里的一个参数精度为fp32，需要4个字节存储。所以一个包含10亿个精度为fp32参数的模型，需要4GB内存来保存模型参数。

给定数据集，令特征向量为x，维数为D，样本数量为R，可构成D×R的矩阵，mi​σi​。