nlm-ingestor 项目安装与配置指南

nlm-ingestor 项目安装与配置指南

nlm-ingestor This repo provides the server side code for llmsherpa API to connect. It includes parsers for various file formats. 项目地址: https://gitcode.com/gh_mirrors/nl/nlm-ingestor

项目基础介绍

nlm-ingestor 是一个开源项目，主要提供了一种服务端的代码，用于连接 llmsherpa API。该项目包含了用于解析多种文件格式的定制化 RAG（检索增强生成）友好解析器，例如 PDF、HTML 和文本等。nlm-ingestor 可以帮助用户提取文档结构化数据，以便用于大型语言模型（LLM）项目。

项目主要使用的编程语言是 Python，同时依赖于 Java 环境，因为部分功能基于 Apache Tika 的修改版本来实现。

项目使用的关键技术和框架

• Apache Tika: 一个开源的库，用于解析多种不同的文件格式。
• PDF解析器: 基于文本坐标、图形和字体数据的规则基础解析器。
• HTML解析器: 创建布局感知块，以优化 RAG 性能。
• 文本解析器: 尝试通过文本本身识别列表、表格、标题等结构。
• Docker: 容器化技术，用于简化部署和运行环境。

安装和配置准备工作

在开始安装之前，请确保您的系统中已安装以下软件：

1. Java Development Kit (JDK)
2. Python
3. Docker (可选，用于容器化部署)

以下是详细的安装步骤：

步骤 1：安装 Java

首先，您需要从 Oracle 官方网站 下载并安装最新版本的 JDK。

步骤 2：安装 Python

您可以从 Python 官方网站下载并安装 Python。确保安装过程中已添加 Python 到系统环境变量中。

步骤 3：安装 Apache Tika

从官方网站下载 Apache Tika 的jar文件，或者使用以下命令：

java -jar path_to_tika_server_standard_nlm_modifed_version.jar

确保将 path_to_tika_server_standard_nlm_modifed_version.jar 替换为您下载的 Tika 服务器jar文件的实际路径。

步骤 4：安装 nlm-ingestor

使用以下命令安装 nlm-ingestor：

pip install nlm-ingestor

步骤 5：运行 nlm-ingestor

启动 nlm-ingestor 服务：

python -m nlm_ingestor.ingestion_daemon

步骤 6：Docker部署（可选）

如果您选择使用 Docker，可以执行以下命令拉取镜像：

docker pull ghcr.io/nlmatics/nlm-ingestor:latest

然后运行 Docker 容器：

docker run -p 5010:5001 ghcr.io/nlmatics/nlm-ingestor:latest-version

确保将 latest-version 替换为您拉取的 Docker 镜像的版本。

完成以上步骤后，您的 nlm-ingestor 应该已经成功安装并配置好了。您可以开始使用 llmsherpa API 来获取文档块，并将它们用于您的 LLM 项目中。

nlm-ingestor This repo provides the server side code for llmsherpa API to connect. It includes parsers for various file formats. 项目地址: https://gitcode.com/gh_mirrors/nl/nlm-ingestor