import clip时Cannot re-initialize CUDA in forked subprocess

在使用PyTorch的CLIP库时,遇到CUDA初始化错误,提示不能在forked子进程中重新初始化CUDA。尝试修改multiprocessing的启动方法为'spawn',但导致了_pthread.lock对象无法被pickle的错误。最终发现问题与multiprocessing无关,而是CLIP库加载时CUDA设备设置的问题。通过默认设置CUDA设备为'cuda'解决了问题。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

问题

pytorch在项目里 pip install clip之后 import clip报错(infer时):
“Cannot re-initialize CUDA in forked subprocess. To use CUDA with multiprocessing, you must use the ‘spawn’ start method”

解决

查阅位置跟multi process有关

for i in range(thread_num):
        p = mp.Process(target=sub_processor, args=(lock, i, args, data, 
                                                   save_path_prefix, save_visualize_path_prefix, 
                                                   img_folder, sub_video_list))

网上解决办法:

torch.multiprocessing.set_start_method(‘spawn’)

修改之后报错:

TypeError: cannot pickle ‘_thread.lock’ object

==============================================================================
逐行排查代码后发现与上述mp无关,把CLIP的load函数的参数从:

def load(name: str, device: Union[str, torch.device] = “cuda” if torch.cuda.is_available() else “cpu”, …

修改为(直接默认为cuda了 因为我暂时没有cpu的需求)

def load(name: str, device: Union[str, torch.device] = “cuda”, …

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值