锁页内存理解(pinned memory or page locked memory):https://blog.youkuaiyun.com/dgh_dean/article/details/53130871
What is the disadvantage of using pin_memory: https://discuss.pytorch.org/t/what-is-the-disadvantage-of-using-pin-memory/1702
pin_memory就是锁页内存,创建DataLoader时,设置pin_memory=True,则意味着生成的Tensor数据最开始是属于内存中的锁页内存,这样将内存的Tensor转义到GPU的显存就会更快一些。
主机中的内存,有两种存在方式,一是锁页,二是不锁页,锁页内存存放的内容在任何情况下都不会与主机的虚拟内存进行交换(注:虚拟内存就是硬盘),而不锁页内存在主机内存不足时,数据会存放在虚拟内存中。
而显卡中的显存全部是锁页内存!
当计算机的内存充足的时候,可以设置pin_memory=True。当系统卡住,或者交换内存使用过多的时候,设置pin_memory=False。因为pin_memory与电脑硬件性能有关,pytorch开发者不能确保每一个炼丹玩家都有高端设备,因此pin_memory默认为False。
本文介绍了锁页内存(Pin Memory)的概念及其在PyTorch中的应用。锁页内存能够避免数据被换入换出,从而提高从内存到GPU的数据传输速度。文章还探讨了设置pin_memory参数的影响,并给出了在不同场景下合理选择pin_memory参数的建议。
576





