解决MinerU项目中NameError: name 'init_empty_weights' is not defined错误

解决MinerU项目中NameError: name 'init_empty_weights' is not defined错误

【免费下载链接】MinerU A high-quality tool for convert PDF to Markdown and JSON.一站式开源高质量数据提取工具，将PDF转换成Markdown和JSON格式。 项目地址: https://gitcode.com/OpenDataLab/MinerU

在使用MinerU项目进行PDF解析时，部分用户遇到了NameError: name 'init_empty_weights' is not defined的错误。这个错误通常发生在运行magic-pdf命令处理PDF文件时，特别是在初始化模型阶段。

问题分析

该错误的核心在于Hugging Face Transformers库的最新版本引入了一个兼容性问题。具体来说，在Transformers 4.50.0及以上版本中，init_empty_weights函数被移除或重命名，导致依赖此函数的代码无法正常运行。

MinerU项目中的PDF解析模块使用了基于Transformers的模型进行文档分析和文本识别，当安装的Transformers版本过高时，就会触发这个兼容性问题。

解决方案

目前有两种可行的解决方案：

方案一：降级Transformers版本

将Transformers库降级到4.49.0版本，这是一个已知稳定的版本：

pip install transformers==4.49.0

方案二：升级Accelerate库

如果希望保持较新的Transformers版本，可以尝试升级Accelerate库到1.6.0或更高版本：

pip install accelerate==1.6.0

在Docker环境中的操作步骤

对于使用Docker部署的用户，可以按照以下步骤解决问题：

1. 进入正在运行的Docker容器：

docker exec -it <容器ID> bash

2. 激活虚拟环境：

source /app/venv/bin/activate

3. 安装指定版本的Transformers：

pip install transformers==4.49.0

4. 退出容器并重启：

exit
docker restart <容器ID>

预防措施

为了避免类似问题，建议在项目中明确指定关键依赖库的版本范围。对于生产环境，最好使用固定的版本号而不是最新版本，以确保稳定性。

总结

依赖库版本兼容性是深度学习项目中常见的问题。MinerU项目作为基于多种AI模型的PDF解析工具，依赖于多个第三方库，包括Transformers、Accelerate等。当这些库发布新版本时，可能会引入不兼容的变更。

通过固定关键依赖的版本号，或者及时更新项目代码以适应新版本的API变化，可以有效避免这类问题。对于用户来说，遇到类似错误时，首先检查依赖库的版本兼容性是一个很好的排查思路。

【免费下载链接】MinerU A high-quality tool for convert PDF to Markdown and JSON.一站式开源高质量数据提取工具，将PDF转换成Markdown和JSON格式。 项目地址: https://gitcode.com/OpenDataLab/MinerU