ComfyUI-Florence2项目中DaViT模型权重初始化问题分析与解决方案

ComfyUI-Florence2项目中DaViT模型权重初始化问题分析与解决方案

ComfyUI-Florence2 Inference Microsoft Florence2 VLM 项目地址: https://gitcode.com/gh_mirrors/co/ComfyUI-Florence2

问题背景

在ComfyUI-Florence2项目使用过程中，部分用户遇到了一个与DaViT模型相关的错误："'DaViT' object has no attribute '_initialize_weights'"。这个错误通常发生在尝试加载Florence2语言模型时，特别是在较新版本的transformers库环境下。

错误现象分析

当用户尝试加载模型时，系统会抛出AttributeError异常，指出DaViT对象缺少'_initialize_weights'属性。从错误堆栈中可以观察到，问题发生在transformers库尝试初始化模型权重的过程中。具体来说，transformers库的modeling_utils.py文件中的initialize_weights方法试图调用模块的_initialize_weights方法，但DaViT模块并未实现这一方法。

根本原因

这个问题主要源于transformers库的版本更新。从transformers v4.50版本开始，PreTrainedModel不再继承自GenerationMixin，这导致了一些模型加载和初始化流程的变化。特别是transformers v4.52.x版本中，模型权重初始化的方式发生了变化，而DaViT模型的实现没有完全适配这一变化。

解决方案

针对这个问题，目前有两种可行的解决方案：

1. 降级transformers库版本：将transformers库降级到4.51.1版本可以暂时解决这个问题。执行命令：

   pip install transformers==4.51.1 -U
   

2. 更新ComfyUI-Florence2节点代码：项目作者已经在最新代码中添加了对transformers新版本的支持。更新到最新版的ComfyUI-Florence2可以彻底解决这个问题。更新后的代码会检测transformers版本并采用不同的加载方式。

最佳实践建议

对于长期使用和稳定性考虑，建议用户采取以下措施：

1. 保持ComfyUI-Florence2项目代码为最新版本
2. 使用较新的transformers库版本（如4.52.4）
3. 确保Python环境中的torch版本至少为2.6
4. 在加载模型时，优先尝试使用sdpa作为注意力机制实现

技术展望

随着transformers库的持续更新，模型加载和初始化的方式可能会进一步变化。开发者应当关注：

1. GenerationMixin继承关系的变化对模型生成能力的影响
2. 模型权重初始化流程的标准化
3. 不同注意力机制实现（如flash_attn、sdpa等）的兼容性

通过及时更新代码库和了解底层框架的变化，可以避免类似问题的发生，确保模型的稳定运行。

ComfyUI-Florence2 Inference Microsoft Florence2 VLM 项目地址: https://gitcode.com/gh_mirrors/co/ComfyUI-Florence2