ComfyUI-AnimateDiff-Evolved项目中的设备不匹配问题分析与解决方案
项目地址: https://gitcode.com/gh_mirrors/co/ComfyUI-AnimateDiff-Evolved 问题背景
在ComfyUI-AnimateDiff-Evolved项目中，用户在使用过程中遇到了一个常见的PyTorch运行时错误："Expected all tensors to be on the same device, but found at least two devices, cuda:0 and cpu!"。这个错误表明在模型计算过程中，系统检测到了张量被分配到了不同的设备上（GPU和CPU），而PyTorch要求所有参与运算的张量必须位于同一设备上。
问题现象
多位用户报告了这一问题，涉及多种不同的GPU配置：
- NVIDIA GeForce 3050 4GB
- AMD Radeon RX 6700 10GB
- NVIDIA GTX 1660 6GB
错误通常发生在AnimateDiff-Evolved模块的motion_module_ad.py文件中，具体是在位置编码(positional encoding)的计算过程中。系统试图将一个位于GPU上的张量与一个位于CPU上的张量相加，导致了运行时错误。
技术分析
根本原因
经过深入分析，发现问题根源在于ComfyUI的低显存模式(lowvram)处理机制。当系统检测到显存不足时，ComfyUI的低显存系统仅将命名模块及其关联的权重/偏置参数转换到指定设备，而没有正确处理所有张量的设备转移。
具体来说，在AnimateDiff-Evolved的位置编码计算中：
x = x + self.pe[:, : x.size(1)]
其中x位于GPU上，而self.pe（位置编码）由于未被正确处理而留在了CPU上，导致了设备不匹配错误。
触发条件
该问题主要在以下情况下出现：
- 系统显存不足，触发了ComfyUI的低显存模式
- 使用DirectML启动参数(--directml)时，系统错误地报告仅有1GB可用显存
- 显存较小的GPU(如4GB或6GB)运行较大模型时
解决方案
项目维护者已经针对此问题发布了修复方案：
-
短期解决方案：更新ComfyUI-AnimateDiff-Evolved到最新版本，其中包含了针对低显存模式下设备转移的特殊处理。
-
长期解决方案：向ComfyUI主项目报告了这一问题，建议改进低显存模式下对所有张量的设备处理机制，这将惠及所有依赖ComfyUI的项目。
用户建议
对于遇到此问题的用户，建议采取以下步骤：
- 确保ComfyUI和AnimateDiff-Evolved都已更新到最新版本
- 检查工作流程，移除不必要的节点以简化流程
- 根据GPU配置合理设置启动参数：
- 避免不必要的低显存模式(--lowvram)
- 谨慎使用DirectML参数(--directml)
- 对于显存较小的GPU(如4GB或6GB)，考虑：
- 使用更小的模型
- 降低批处理大小
- 优化工作流程减少内存占用
技术展望
这一问题的解决不仅修复了AnimateDiff-Evolved中的设备不匹配错误，也为ComfyUI生态系统中的类似问题提供了参考解决方案。未来，随着ComfyUI核心对低显存模式处理的改进，类似问题将得到更全面的预防。
对于开发者而言，这一案例也提醒我们在处理跨设备计算时需要特别注意张量的设备一致性，特别是在资源受限环境下。良好的错误处理和设备管理机制可以显著提高深度学习应用的稳定性和用户体验。
创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
