文章目录
六个开源的PDF转Markdown项目
✨ 1: gptpdf
gptpdf 是一个利用VLLM解析PDF为Markdown的工具，几乎完美支持数学公式、表格等。
GPTPDF 是一个使用视觉大模型（如 GPT-4o）将 PDF 文件解析成 Markdown 文件的工具。它主要用于高效地解析 PDF 文档中的排版、数学公式、表格、图片、图表等内容，并将这些内容转换为结构化的 Markdown 格式。其显著特点是简单且成本低，每页平均费用为 $0.013。
地址：https://github.com/CosmosShadow/gptpdf
✨ 2: marker
Marker是一款将PDF快速精准转换为Markdown的工具，支持多种文档格式和语言。
Marker是一款能够快速且准确地将PDF转换为Markdown的工具。它支持多种类型的文档（针对书籍和科学论文进行了优化），支持所有语言，并且能够去除页眉、页脚及其他杂乱信息。此外，它还能正确格式化表格和代码块，并提取图像保存为Markdown。同时，Marker将大多数的公式转换为LaTeX格式，适用于GPU、CPU或MPS环境。
地址：https://github.com/vikparuchuri/marker
https://gitcode.com/gh_mirrors/ma/marker/overview
marker的原理是利于深度学习模型，检测页面布局，阅读顺序，然后格式化文本块并且对完整的文本再进行处理。这里说一下 marker 的特点：
- 该工具支持广泛的文档类型，特别针对书籍和科学论文进行了优化，对于复杂的公式提供了更好的支持。同时，它支持多种语言的转换，确保在全球范围内的用户都能够轻松使用
- 可以删除页眉、页脚以及其他页面元素。
- 能够格式化表格和代码块，保持排版整齐。
- 可以提取并保存 PDF 中的图像。
- 支持 GPU、CPU 或者 MPS（多处理器系统）进行转换，以满足不同硬件环境下的需求。
这里说来说一下 marker 的安装方法
安装 Python，需要注意的需要安装的 Python 版本必须大于等于 3.9
安装 Pytorch
首先，访问 PyTorch官网 查找适合你的操作系统、Python版本和硬件支持（如GPU、CUDA）的安装命令。
例如，如果你在Linux系统上使用CUDA 10.2，安装命令如下：
pip install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu102)
如果你的系统没有CUDA支持或不打算使用GPU加速，则可以安装CPU版本：
pip install torch torchvision torchaudio
然后**安装 marker **，执行命令 pip install marker-pdf
单独转换文件示例
marker_single --input /path/to/file.pdf --output /path/to/output/folder --batch_multiplier 2 --max_pages 10 --langs English
--batch_multiplier用于根据GPU内存大小放大默认批量尺寸，数值越大意味着更多内存被占用，但同时也会加速处理过程，默认值为2倍；标准批量尺寸大约占据3GB的GPU内存。--max_pages定义了最大转换页数。如省略此项，则整个文档都会被转换。--langs是以逗号隔开的语言列表，指明文档中所含的语言信息以便于OCR识别。
确认DEFAULT_LANG设置与您的文档相符。OCR支持的语言清单位于surya，如有额外需求，可通过Tesseract支持的任一语言来补充，只要OCR_ENGINE设为ocrmypdf即可。若根本不需进行OCR识别，标记器就能适用于任何语言的文档。
--input：指定要转换的PDF文件路径。--output：指定转换后的Markdown文件存储路径。--language：设置文档语言，如果处理的是非英文文档，可以指定语言代码（如zh表示中文）。--gpu：如果安装了CUDA并希望利用GPU加速，可以加上--gpu选项。--no-images：如果不希望提取PDF中的图片，可以添加这个参数来避免生成额外的图片文件。
CODE_TO_LANGUAGE = {
"_math": "Math",
'af': 'Afrikaans',
'am': 'Amharic',
'ar': 'Arabic',
'as': 'Assamese',
'az': 'Azerbaijani',
'be': 'Belarusian',
'bg': 'Bulgarian',
'bn': 'Bengali',
'br': 'Breton',
'bs': 'Bosnian',
'ca': 'Catalan',
'cs': 'Czech',
'cy': 'Welsh',
'da': 'Danish',
'de': 'German',
'el': 'Greek',
'en': 'English',
'eo': 'Esperanto',
'es': 'Spanish',
'et': 'Estonian',
'eu': 'Basque',
'fa': 'Persian',
'fi': 'Finnish',
'fr': 'French',
'fy': 'Western Frisian',
'ga': 'Irish',
'gd': 'Scottish Gaelic',
'gl': 'Galician',
'gu': 'Gujarati',
'ha': 'Hausa',
'he': 'Hebrew',
'hi': 'Hindi',
'hr': 'Croatian',
'hu': 'Hungarian',
'hy': 'Armenian',
'id': 'Indonesian',
'is': 'Icelandic',
'it': 'Italian',
'ja': 'Japanese',
'jv': 'Javanese',
'ka': 'Georgian',
'kk': 'Kazakh',
'km': 'Khmer',
'kn': 'Kannada',
'ko': 'Korean',
'ku': 'Kurdish',
'ky': 'Kyrgyz',
'la': 'Latin',
'lo': 'Lao',
'lt': 'Lithuanian',
'lv': 'Latvian',
'mg': 'Malagasy',
'mk': 'Macedonian',
'ml': 'Malayalam',
'mn': 'Mongolian',
'mr': 'Marathi',
'ms': 'Malay',
'my': 'Burmese',
'ne': 'Nepali',
'nl': 'Dutch',
'no': 'Norwegian',
'om': 'Oromo',
'or': 'Oriya',
'pa': 'Punjabi',
'pl': 'Polish',
'ps': 'Pashto',
'pt': 'Portuguese',
'ro': 'Romanian',
'ru': 'Russian',
'sa': 'Sanskrit',
'sd': 'Sindhi',
'si': 'Sinhala',
'sk': 'Slovak',
'sl': 'Slovenian',
'so': 'Somali',
'sq': 'Albanian',
'sr': 'Serbian',
'su': 'Sundanese',
'sv': 'Swedish',
'sw': 'Swahili',
'ta': 'Tamil',
'te': 'Telugu',
'th': 'Thai',
'tl': 'Tagalog',
'tr': 'Turkish',
'ug': 'Uyghur',
'uk': 'Ukrainian',
'ur': 'Urdu',
'uz': 'Uzbek',
'vi': 'Vietnamese',
'xh': 'Xhosa',
'yi': 'Yiddish',
'zh': 'Chinese',
}
转换多个文件
marker /path/to/input/folder /path/to/output/folder --workers 10 --max 10 --metadata_file /path/to/metadata.json --min_length 10000
--workers指定同时转换的PDF文件数量，默认为1，增加此数值可以提升处理速度，但会消耗更多CPU或GPU资源。如果使用GPU，并行度不会超过内存分配允许的最大值(INFERENCE_RAM / VRAM_PER_TASK)。--max设定要转换的PDF文件最大数量。省略此参数将以转换文件夹内的所有PDF。--min_length是从PDF中提取字符的最小数量，达到这个限制后PDF才会被考虑处理。处理大量PDF时，推荐设置以避免对主要由图像组成的PDF进行OCR（这会减慢处理速度）。--metadata_file是一个可选的JSON文件路径，包含有关PDF的元数据。提供它将用来设置每个PDF的语言。否则，将使用默认语言DEFAULT_LANG。格式如下：
{
"pdf1.pdf": {"languages": ["英语"]},
"pdf2.pdf": {"languages": ["西班牙语", "俄语"]},
...
}
✨ 3: PDF-Extract-Kit
PDF-Extract-Kit 提供高质量PDF内容提取，支持布局检测、公式识别和OCR功能
- 版面检测：使用 LayoutLMv3 模型进行区域检测，如检测图片、表格、标题、文本等。
- 公式检测：使用 YOLOv8 模型检测公式，包括行内公式和独立公式。
- 公式识别：使用 UniMERNet 进行公式识别。
- 光学字符识别 (OCR)：使用 PaddleOCR 进行文本识别。
地址：https://github.com/opendatalab/PDF-Extract-Kit
✨ 4: zeroX
Zerox OCR 是一种经济高效且准确的文档OCR工具，适用于AI数据处理。
Zerox OCR 是一种极其简便的方法，用于将文档进行光学字符识别（OCR）并方便人工智能进行后续处理。鉴于文档往往包含复杂布局、表格、图表等，视觉模型在处理这些内容时尤其有效。
基本逻辑如下：
提供一个 PDF 文件（URL 或文件缓冲区）。
将 PDF 转换成一系列图像。
将每个图像传给 GPT，让其生成 Markdown 格式的文本。
聚合所有响应，并返回 Markdown 格式的结果。
地址：https://github.com/getomni-ai/zeroX
✨ 5: omniparse
OmniParse是一个将各种非结构化数据转换为结构化、适用于生成式AI（LLM）应用的平台。
OmniParse 是一个数据解析平台，旨在将各种非结构化数据转换为适用于生成式AI（GenAI）应用的结构化数据。无论是文档、表格、图像、视频、音频文件，还是网页，OmniParse 都能对其进行处理，使其变得干净、结构化，并为诸如 RAG（Retrieval-Augmented Generation）和细调等AI应用做好准备。
- 完全本地化，无需外部API
- 支持多达 20 种文件类型
- 将文档、多媒体和网页转换为高质量的结构化 Markdown
- 支持表格提取、图像提取与标注、音频/视频转录、网页爬取
- 通过 Docker 和 Skypilot 轻松部署
- 兼容 Colab
- 交互式 UI 由 Gradio 提供支持
地址：https://github.com/adithya-s-k/omniparse
✨ 6: MinerU
MinerU 是一个开源的高质量数据提取工具，支持多种文件格式
MinerU 是一个一站式、开源的高质量数据提取工具，主要包括以下两个核心功能模块：
Magic-PDF
- 功能介绍：Magic-PDF 能将 PDF 文档转换为 Markdown 格式，可以处理本地存储或支持 S3 协议的对象存储中的文件。
- 主要特色：
- 支持多种前端模型输入
- 自动去除页眉、页脚、脚注和页码
- 保留文档原有的结构和格式，包括标题、段落、列表等
- 提取并显示图片和表格
- 将公式转换为 LaTeX 格式
- 自动检测和转换乱码 PDF 文档
- 兼容 CPU 和 GPU 环境
- 可在 Windows、Linux 和 macOS 平台上使用
Magic-Doc
- 功能介绍：Magic-Doc 能将网页或多格式电子书转换为 Markdown 格式。
- 主要特色：
- 网页提取：跨模态精确解析文本、图片、表格和公式信息
- 电子书文档提取：支持包括 epub、mobi 在内的多种文档格式，完美适配文本和图片
- 语言类型识别：精确识别176种语言
地址：https://github.com/opendatalab/MinerU
更多AI工具，参考国内AiBard123，Github-AiBard123 公众号：每日AI新工具
参考：https://blog.youkuaiyun.com/weixin_40425640/article/details/140765933
https://cloud.tencent.com/developer/news/1472013
https://zhuanlan.zhihu.com/p/712512565
https://post.smzdm.com/p/a2xzn3z2/
TextIn在线api转换：https://www.textin.com/document/pdf_to_markdown
https://www.textin.com/console/recognition/robot_markdown?service=pdf_to_markdown
目前一路用下来，开源的方案用来做原型验证还不错，但要达到生产标准总是差一截。marker也试了，paddle也试了，最后还是转向了闭源付费api。省心多了。国内的textin，国外的google document ai，都还挺top的
扫一扫
2133
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
