nlm-ingestor 项目使用教程

nlm-ingestor 项目使用教程

nlm-ingestor This repo provides the server side code for llmsherpa API to connect. It includes parsers for various file formats. 项目地址: https://gitcode.com/gh_mirrors/nl/nlm-ingestor

1. 项目目录结构及介绍

nlm-ingestor 项目是一个开源的服务端代码，用于连接 llmsherpa API。以下是项目的目录结构及各部分功能的介绍：

• nlm_ingestor/：包含项目的核心 Python 代码，包括解析器和守护进程。
• scripts/：包含项目运行时可能需要的脚本文件。
• tests/：包含用于测试项目的单元测试代码。
• jars/：包含项目依赖的 Java JAR 文件，如修改过的 Tika 服务器jar包。
• notebooks/：包含用于演示和实验项目功能的 Jupyter 笔记本文件。
• docs/：如果有的话，会包含项目的文档。
• .gitignore：定义了 Git 忽略的文件和目录。
• Dockerfile：用于构建项目的 Docker 容器镜像。
• Dockerfile.test：用于构建测试环境的 Docker 容器镜像。
• LICENSE.txt：项目的 Apache-2.0 许可证文件。
• Makefile：可能包含构建和部署项目的指令。
• NOTICE.txt：包含项目通知信息的文件。
• README.md：项目的自述文件，介绍了项目的使用方法。
• requirements.txt：项目运行所需的 Python 库依赖。
• run.sh：用于启动项目的 shell 脚本。
• setup.py：Python 项目的设置文件，用于打包和安装项目。

2. 项目的启动文件介绍

项目的启动文件是 run.sh 脚本和 Python 守护进程代码。

• run.sh：这个脚本会调用 Java 命令来启动 Tika 服务器，并指定使用项目目录下的 JAR 文件。例如：

  java -jar ./jars/tika-server-standard-nlm-modified-2.9.2_v2.jar
  

• Python 守护进程：通过运行以下命令启动 Python 守护进程来处理文档解析。

  python -m nlm_ingestor.ingestion_daemon
  

3. 项目的配置文件介绍

nlm-ingestor 项目的配置主要通过环境变量和 Python 代码中的配置参数进行。

• requirements.txt：此文件列出了项目依赖的 Python 包，安装这些包是配置项目的前提。

• pyproject.toml 或 setup.py：这些文件可能包含项目的配置信息，如项目名称、版本、依赖等。

• 在代码中，配置可能通过以下方式设置：

  • 环境变量：在 os.environ 中读取。
  • 配置文件：如 JSON、YAML 或 INI 文件，通过 Python 的 configparser 或其他库读取。

  具体的配置文件位置和格式需要查看项目的具体代码实现来确定。

确保正确配置和安装所有依赖后，您可以按照项目的 README.md 文件中的指示来运行和测试 nlm-ingestor 服务。

nlm-ingestor This repo provides the server side code for llmsherpa API to connect. It includes parsers for various file formats. 项目地址: https://gitcode.com/gh_mirrors/nl/nlm-ingestor