yichudu

自己写的 model, 在使用 transformers 框架中的 Trainer 训练时，是会默认使用 gpu 的。前提是 显卡，cuda，等环境已就绪。原理是 Trainer 类中的 _move_model_to_device（） 和 _prepare_input（）方法。

需要 Dataset + collate_fn + Sampler + DataLoader 联用, 才等价于 tf 的 dataset.

工作较为琐碎. 我用 train loop 统一代指, 因为主流程在内, 是一个 loop.transformers 是一个流行的预训练模型库, 我想学习并复用它的 train loop 设计.

pytorch 内置了常见 tensor 操作的求导解析解. 从 loss 到 parameter 是若干个 op 叠加起来的复合函数, 所以用链式法则逐个计算.tensor.grad_fn 记录了一个 tensor 是由何种运算产出的, 以及相应的求导解析解.

torch 完整任务笔记

scatter()方法将一个batch的数据散列成若干份, 同 device 个数相等, 便于数据并行. 在单机多卡环境, pdb debug有印证.构造调用如 net = torch.nn.DataParallel(model, device_ids=[0, 1, 2]).报错显示 A10 型号的gpu较新, 我实际安装的的是 cuda_10.2, 重装 cuda_11.3 应该就好了.验证cuda {硬件, 驱动, 库} 是否就绪, 通过。简单讲, 高版本cuda兼容低版本硬件, 反之则不行.

dataset通过 from torch.utils.data import IterableDataset, DataLoader 引入.典型用法如 loader=DataLoader(dataset:Dataset), 二者一起等价于 tf 的 dataset.流式数据典型场景是内存盛不下, 网络数据库->dataset->model feed 流式运作.例子见下.from torch.utils.data import IterableDataset, DataLoader