LLM文档对话 —— pdf解析关键问题

一、为什么需要进行pdf解析？

最近在探索ChatPDF和ChatDoc等方案的思路，也就是用LLM实现文档助手。在此记录一些难题和解决方案，首先讲解主要思想，其次以问题+回答的形式展开。

二、为什么需要对pdf进行解析？

当利用LLMs实现用户与文档对话时，首要工作就是对文档中内容进行解析。

由于pdf是最通用，也是最复杂的文档形式，所以对pdf进行解析变成利用LLM实现用户与文档对话的重中之重工作。

如何精确地回答用户关于文档的问题，不重也不漏？笔者认为非常重要的一点是文档内容解析。如果内容都不能很好地组织起来，LLM只能瞎编。

三、pdf解析有哪些方法，对应的区别是什么？

pdf的解析大体上有两条路，一条是基于规则，一条是基于AI。

• 方法一：基于规则：

  • 介绍：根据文档的组织特点去"算"每部分的样式和内容
  • 存在问题：不通用，因为pdf的类型、排版实在太多了，没办法穷举

• 方法二：基于AI：

  • 介绍：该方法为目标检测和OCR文字识别pipeline方法
    

四、pdf解析存在哪些问题？

pdf转text