RuntimeError: Input and hidden tensors are not at the same device, found input tensor at cuda:0 and

最新推荐文章于 2024-09-15 08:08:52 发布

菜菜2022

最新推荐文章于 2024-09-15 08:08:52 发布

阅读量7k

点赞数 9

分类专栏： Pytorch 文章标签： pytorch 深度学习 tensor GPU

本文链接：https://blog.youkuaiyun.com/kz_java/article/details/122527069

版权

Pytorch 专栏收录该内容

26 篇文章

订阅专栏

本文介绍了解决BiLSTM在GPU上运行时出现的输入张量与隐藏层张量不在同一设备上的错误。通过将所有张量统一到同一设备上解决了此问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

dl初学菜狗，轻喷
在运行BiLSTM代码的时候遇到的错误，因为使用cpu跑太慢了，改用gpu加速，遇到的问题。

因为BiLSTM里面含有隐藏层hidden-layer，BiLSTM和其他网络相比特殊之处在于隐藏层初始化是在网络的前向传播处发生的，这就意味着即使使用model.to(device)也不会对后面在网络内部的新初始化的变量位置产生什么影响（即变量还是在cpu上），所以当tensor一部分在cpu上一部分在gpu上的时候就会报错：
报错信息：RuntimeError: Input and hidden tensors are not at the same device, found input tensor at cuda:0 and hidden tensor at cpu
解决方案
对于隐藏层初始化变量将其移动到device上

def init_hidden(self):
    return (torch.randn(2, self.batch, self.hidden_dim // 2)).to(self.device)

def init_hidden_lstm(self):
    return (torch.randn(2, self.batch, self.hidden_dim // 2).to(self.device),
            torch.randn(2, self.batch, self.hidden_dim // 2).to(self.device))

重要的事情说三遍：
所有的tensor变量都需要保持在一个设备上面，不能一部分在GPU上一部分在CPU上
所有的tensor变量都需要保持在一个设备上面，不能一部分在GPU上一部分在CPU上
所有的tensor变量都需要保持在一个设备上面，不能一部分在GPU上一部分在CPU上