ComfyUI-Florence2项目中DaViT模型权重初始化问题分析与解决方案
项目地址: https://gitcode.com/gh_mirrors/co/ComfyUI-Florence2 问题背景
在ComfyUI-Florence2项目使用过程中，部分用户遇到了一个与DaViT模型相关的错误："'DaViT' object has no attribute '_initialize_weights'"。这个错误通常发生在尝试加载Florence2语言模型时，特别是在较新版本的transformers库环境下。
错误现象分析
当用户尝试加载模型时，系统会抛出AttributeError异常，指出DaViT对象缺少'_initialize_weights'属性。从错误堆栈中可以观察到，问题发生在transformers库尝试初始化模型权重的过程中。具体来说，transformers库的modeling_utils.py文件中的initialize_weights方法试图调用模块的_initialize_weights方法，但DaViT模块并未实现这一方法。
根本原因
这个问题主要源于transformers库的版本更新。从transformers v4.50版本开始，PreTrainedModel不再继承自GenerationMixin，这导致了一些模型加载和初始化流程的变化。特别是transformers v4.52.x版本中，模型权重初始化的方式发生了变化，而DaViT模型的实现没有完全适配这一变化。
解决方案
针对这个问题，目前有两种可行的解决方案：
-
降级transformers库版本：将transformers库降级到4.51.1版本可以暂时解决这个问题。执行命令：
pip install transformers==4.51.1 -U -
更新ComfyUI-Florence2节点代码：项目作者已经在最新代码中添加了对transformers新版本的支持。更新到最新版的ComfyUI-Florence2可以彻底解决这个问题。更新后的代码会检测transformers版本并采用不同的加载方式。
最佳实践建议
对于长期使用和稳定性考虑，建议用户采取以下措施：
- 保持ComfyUI-Florence2项目代码为最新版本
- 使用较新的transformers库版本（如4.52.4）
- 确保Python环境中的torch版本至少为2.6
- 在加载模型时，优先尝试使用sdpa作为注意力机制实现
技术展望
随着transformers库的持续更新，模型加载和初始化的方式可能会进一步变化。开发者应当关注：
- GenerationMixin继承关系的变化对模型生成能力的影响
- 模型权重初始化流程的标准化
- 不同注意力机制实现（如flash_attn、sdpa等）的兼容性
通过及时更新代码库和了解底层框架的变化，可以避免类似问题的发生，确保模型的稳定运行。
创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
