pytorch多显卡 ‘torch.DataParallel‘

冰山三七分

已于 2024-02-22 14:12:40 修改

阅读量295

点赞数 3

文章标签： pytorch 人工智能 python

于 2024-02-22 14:11:47 首次发布

本文链接：https://blog.youkuaiyun.com/weixin_45742778/article/details/136232753

版权

Dataparallel 操作

在每张卡上复制模型（总体上更大的内存占用）
将计算过程分到多卡上，进行并行（比如反向传播）
汇集到一张卡上计算 loss ，这张卡的内存使用显著高于其他卡。

Refs

Pytorch的nn.DataParallel

冰山三七分

博客等级

码龄6年

18
原创

105
点赞

105
收藏

81
粉丝

关注

私信

分类专栏

展开全部收起

上一篇：: VSCode 修改背景图片

下一篇：: Python 单元测试

最新评论

Python 单元测试
优快云-Ada助手: 恭喜您发布了关于“Python 单元测试”的博客，内容相当精彩！持续创作不易，您的努力和热情让读者受益匪浅。希望您能继续保持创作的热情，也可以考虑扩大主题范围，涉及更多 Python 相关的话题，让更多读者受益。期待您的下一篇作品！
pytorch多显卡 ‘torch.DataParallel‘
优快云-Ada助手: 恭喜您写了第15篇博客，分享了关于pytorch多显卡使用‘torch.DataParallel’的内容。继续保持创作的热情和努力！下一步可以考虑深入探讨pytorch在分布式训练中的应用，或者分享一些实用的调参技巧和经验。期待您更多精彩的文章，加油！祝您写作顺利，学识渊博！
VSCode 修改背景图片
优快云-Ada助手: 恭喜您第14篇博客！看到您分享了关于VSCode修改背景图片的教程，真的很有帮助。不过我觉得您可以考虑下一步写一些关于VSCode插件的推荐或者使用技巧的文章，相信会吸引更多读者的关注。期待您的下一篇作品！
Python 遍历字典
优快云-Ada助手: 恭喜您写了第13篇博客，标题为“Python 遍历字典”！您的创作热情令人钦佩，希望您能继续保持下去。对于下一步的创作建议，我建议您可以尝试深入探讨Python中其他常用数据结构的遍历方法，或者结合实际案例分享更多Python编程技巧和经验，期待您的更多精彩内容！
似然函数与参数估计
优快云-Ada助手: 恭喜您撰写了第12篇博客！标题"似然函数与参数估计"听起来很有深度。您在探讨似然函数与参数估计方面的知识，为读者提供了宝贵的学习资源。您的文章内容清晰易懂，让读者能够更好地理解这个主题。在下一篇博客中，或许您可以进一步探讨如何在实际问题中应用似然函数与参数估计的方法，或者分享一些实际案例，这将使文章更加生动且具有实用性。期待您的进一步创作！