[解决方案记录]No module named fused(stylegan2的bug,已更新)

这篇博客介绍了在Windows环境下使用PyCharm或Jupyter Notebook运行StyleGAN2时遇到的C++编译问题。作者提供了一个无脑但有效的解决方案,即替换特定的C++模块为PyTorch实现。此外,还提到了确保CUDA版本至少为10.1以及添加cl.exe到环境变量中的重要性。博客提供了详细的代码示例和解决步骤。
部署运行你感兴趣的模型镜像

基本情况

https://github.com/rosinality/stylegan2-pytorch/issues/81

运行psp时出现的问题。其实就是stylegan2里面采用了c++编译等功能带来的bug,非常烦人。
系统:windows
平台:pycharm + jupyter notebook
GPU:GTX1660Ti

解决方案

(0)无脑但是有效:直接把fused_leakyrelu,upfirdn2d_native和FusedLeakyRelu替换为pytorch实现即可。

参考链接

def upfirdn2d(input, kernel, up=1, down=1, pad=(0, 0)):
    # out = UpFirDn2d.apply(
    #     input, kernel, (up, up), (down, down), (pad[0], pad[1], pad[0], pad[1])
    # )
    out = upfirdn2d_native(input, kernel, up, up, down, down, pad[0], pad[1], pad[0], pad[1])
    return out
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
def upfirdn2d_native(
    input, kernel, up_x, up_y, down_x, down_y, pad_x0, pad_x1, pad_y0, pad_y1
):
    input = input.permute(0, 2, 3, 1)
    _, in_h, in_w, minor = input.shape
    kernel_h, kernel_w = kernel.shape
    out = input.view(-1, in_h, 1, in_w, 1, minor)
    out = F.pad(out, [0, 0, 0, up_x - 1, 0, 0, 0, up_y - 1])
    out = out.view(-1, in_h * up_y, in_w * up_x, minor)

    out = F.pad(
        out, [0, 0, max(pad_x0, 0), max(pad_x1, 0), max(pad_y0, 0), max(pad_y1, 0)]
    )
    out = out[
        :,
        max(-pad_y0, 0) : out.shape[1] - max(-pad_y1, 0),
        max(-pad_x0, 0) : out.shape[2] - max(-pad_x1, 0),
        :,
    ]

    out = out.permute(0, 3, 1, 2)
    out = out.reshape(
        [-1, 1, in_h * up_y + pad_y0 + pad_y1, in_w * up_x + pad_x0 + pad_x1]
    )
    w = torch.flip(kernel, [0, 1]).view(1, 1, kernel_h, kernel_w)
    out = F.conv2d(out, w)
    out = out.reshape(
        -1,
        minor,
        in_h * up_y + pad_y0 + pad_y1 - kernel_h + 1,
        in_w * up_x + pad_x0 + pad_x1 - kernel_w + 1,
    )
    # out = out.permute(0, 2, 3, 1)
    return out[:, :, ::down_y, ::down_x]

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32
  • 33
  • 34
  • 35
import torch
from torch import nn
import torch.nn.functional as F


class FusedLeakyReLU(nn.Module):
    def __init__(self, channel, negative_slope=0.2, scale=2 ** 0.5):
        super().__init__()

        self.bias = nn.Parameter(torch.zeros(channel))
        self.negative_slope = negative_slope
        self.scale = scale

    def forward(self, input):
        return fused_leaky_relu(input, self.bias, self.negative_slope, self.scale)


def fused_leaky_relu(input, bias, negative_slope=0.2, scale=2 ** 0.5):
    return scale * F.leaky_relu(input + bias.view((1, -1) + (1,) * (len(input.shape) - 2)),
                                negative_slope=negative_slope)

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21

FuseLeakyReLU(x)等价于 scale * F.leaky_relu(x + bias)
要注意的是,这里的FuseLeakyReLU要求x的shape是[batch, channel, …]的形式,否则要对bias那里的维度进行调整。

(1)anaconda环境的CUDA要保证在10.1及以上

否则不能编译成功,这是github上一个老哥说的,具体链接不记得了。conda环境的CUDA版本是根据这个环境下的cudatoollkit控制的,因此在该环境下用torch官网的方法更新cudatoolkit版本即可。
在这里插入图片描述

(2)cl.exe, Visual Studio要加入环境变量

建议用everything这个搜索软件定位关键文件的位置,然后加入环境变量,不要照单全抄,因为每个人电脑上软件安装位置有细微的区别,需要自己更改一些细节。

cl.exe不加入的话会报错Error checking compiler version for cl

参考教程:
VS加入环境变量
cl.exe加入环境变量

教程不一定是这两个,可以自己找其他的,我也是随便找的。

 

您可能感兴趣的与本文相关的镜像

PyTorch 2.5

PyTorch 2.5

PyTorch
Cuda

PyTorch 是一个开源的 Python 机器学习库,基于 Torch 库,底层由 C++ 实现,应用于人工智能领域,如计算机视觉和自然语言处理

### 解决方案 当遇到 `ModuleNotFoundError: No module named 'fused_layer_norm_cuda'` 错误时,这通常是因为 Apex 库未正确安装或配置不当所致。以下是几种可能的解决方案: #### 方法一:重新编译 Apex 库 有时 Apex 可能未能成功构建 CUDA 扩展部分。可以尝试卸载当前版本并通过源码重新安装Apex。 ```bash pip uninstall apex git clone https://github.com/NVIDIA/apex.git cd apex pip install -v --no-cache-dir --global-option="--cpp_ext" --global-option="--cuda_ext" . ``` 此方法有助于确保所有必要的CUDA扩展被正确编译[^2]。 #### 方法二:修正 Fairseq 中 FusedLayerNorm 导入路径 对于使用Fairseq库的情况,错误可能是由于FusedLayerNorm导入语句中的路径不匹配造成的。应检查并更正`fairseq/modules/layer_norm.py`文件内的导入声明,使其指向正确的模块位置。 原错误代码片段如下所示: ```python from . import fused_layer_norm_cuda # 这种方式可能导致无法找到模块 ``` 修改后的正确做法应该是直接引用Apex提供的实现: ```python import torch.nn as nn try: from apex.normalization.fused_layer_norm import FusedLayerNorm except ImportError: class FusedLayerNorm(nn.Module): ... ``` 通过这种方式可以直接利用Apex中已经定义好的类而不需要依赖本地编译过的CUDA内核[^3]。 #### 方法三:确认 PyTorch 和 CUDA 版本兼容性 另一个潜在的原因在于PyTorch以及所使用的CUDA工具包之间的版本差异。建议查阅NVIDIA官方文档来验证两者之间是否存在已知冲突,并考虑升级至最新稳定版以获得更好的支持和性能优化[^1]。
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值