小武与GPU与pytorch的bug 还有反向传播

最新推荐文章于 2024-05-22 09:15:04 发布

原创

最新推荐文章于 2024-05-22 09:15:04 发布 · 312 阅读

1 ·

CC 4.0 BY-SA版权

本文讨论了在PyTorch中进行GPU训练时遇到的问题，包括单GPU计算的限制、模型和数据的CUDA转换以及反向传播的关键性。提到了nn.DataParallel的使用误区，以及如何正确指定多GPU或单GPU训练。同时，强调了forward函数中grad_fn标志对反向传播的重要性，并推荐了相关资源进行深入学习。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1.因为模型融合，所以不能使用多GPU，只能使用单GPU进行计算。可能需要继续探究吧。。。。
2.一开始直接将nn.DATAPARALLEL去掉，这样其实整个模型就只能适应cpu的训练如果你输入的数据是cuda类型的话，会报错。大概就是说模型本身不支持cuda但是你的输入数据是cuda。
3.所以使用gpu训练需要三个点：模型转化，数据转换等 https://blog.youkuaiyun.com/qq_21578849/article/details/85240797 具体如下。
4.如何制定多GPU还是单GPU训练呢。https://blog.youkuaiyun.com/gaishi_hero/article/details/81139045

BP是处理的关键，没有BP就没有学习，
def forward （）中的数值都会有 grad_fn的标志，而如果另外写一个方法，输出的数值就没有该标志，所以往里面加的卷积层都没反向传播的功能。https://www.jianshu.com/p/01440b9ef5d5 参考学习

def featuremaps(self, x):

        out_feature = x.permute(0,2,3,1)
        print('1hao')
        print(out_feature)
        ocr_feature = ocr_model(out_feature)
        print('2hao')
        print(out_feature)
        ocr_feature = self.convcr(ocr_feature)
        print('3hao')