ComfyUI Segment Anything在Apple Silicon上的CUDA反序列化问题解决方案
项目地址: https://gitcode.com/gh_mirrors/co/comfyui_segment_anything 问题背景
在Apple Silicon设备(如M1/M2系列芯片)上运行ComfyUI Segment Anything项目时，用户可能会遇到一个常见的技术障碍。当尝试加载SAM(Segment Anything Model)模型时，系统会抛出错误提示"Attempting to deserialize object on a CUDA device but torch.cuda.is_available() is False"，这表明PyTorch尝试在CUDA设备上反序列化模型，但实际上设备并不支持CUDA。
问题本质分析
这一问题的根源在于模型文件最初是在CUDA环境下训练和保存的，包含了CUDA特定的元数据。当在非CUDA环境(如Apple Silicon的MPS后端)下加载时，PyTorch默认仍会尝试按照原始设备上下文进行加载，导致兼容性问题。
解决方案详解
核心修复方法
经过技术社区的研究，发现可以通过修改模型加载代码来明确指定设备映射。具体步骤如下：
-
定位到项目中的关键文件：
custom_nodes/comfyui_segment_anything/sam_hq/build_sam_hq.py -
修改模型加载代码：
- 原始代码：
state_dict = torch.load(f) - 修改后：
state_dict = torch.load(f, map_location=torch.device("mps"))
- 原始代码：
这一修改强制PyTorch将模型加载到Apple的Metal Performance Shaders(MPS)后端，这是Apple Silicon设备上推荐的GPU加速方案。
配套环境要求
为确保解决方案有效，需要满足以下环境条件：
- 安装PyTorch的nightly版本，因为它通常包含对Apple Silicon最新的优化和支持
- 确认PyTorch已正确配置为使用MPS后端
- 验证torch.backends.mps.is_available()返回True
技术原理深入
PyTorch设备映射机制
PyTorch的torch.load函数提供了map_location参数，用于控制张量数据的设备位置映射。当模型从一个设备保存，在另一个不同类型的设备上加载时，这个参数尤为重要。在Apple Silicon环境下，我们需要将原本为CUDA优化的模型重新映射到MPS设备。
MPS后端优势
Apple的Metal Performance Shaders为Apple Silicon芯片提供了优化的GPU计算能力。相比强制使用CPU，MPS能够：
- 显著提升模型推理速度
- 降低能耗
- 充分利用Apple Silicon的统一内存架构
验证与测试
实施修改后，可以通过以下步骤验证解决方案是否生效：
-
在Python交互环境中检查设备可用性：
import torch print(torch.backends.mps.is_available()) # 应返回True -
重新运行SAM模型加载流程，确认不再出现CUDA反序列化错误
-
观察系统活动监视器，确认GPU利用率是否提升
潜在问题与注意事项
- 性能考量：首次运行可能需要较长时间，因为系统需要编译Metal着色器
- 内存管理：MPS后端的内存管理策略与CUDA不同，需注意大模型的内存占用
- 版本兼容性：不同版本的PyTorch对MPS支持程度不同，建议使用较新版本
总结
通过简单的代码修改和环境配置，开发者可以顺利在Apple Silicon设备上运行ComfyUI Segment Anything项目。这一解决方案不仅解决了CUDA反序列化问题，还能充分利用Apple芯片的硬件加速能力，为计算机视觉任务提供更高效的执行环境。随着PyTorch对Apple Silicon支持的不断完善，未来这类跨平台部署问题将得到更好的解决。
创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
