【4核8内存搞定】Marker 将 PDF 转换为 Markdown 文档(支持word等结构)

【4核8内存搞定】Marker 将 PDF 转换为 Markdown 文档

📁 项目背景与需求

在使用 Dify 做 PDF 文档解析时，发现其在处理部分扫描版 PDF（图像形式）时无法正确识别文字。

尝试使用市面上的 PDF 转 Markdown 工具（如 Textin），发现免费额度（如 100 页）之后都需要付费。

因此，我希望寻找一个免费、可本地部署、支持 OCR 的工具。

目标是将 PDF 文档高质量地转换为 Markdown (.md) 文件格式。项目需求包括：

• 保留 PDF 原有结构和内容
• 支持 OCR 识别（图像转文字）
• 在可能的情况下使用 LLM 增强转换质量

为满足以上需求，选择了 GitHub 上的开源项目 marker。

并成功在我的腾讯云主机（4 核 CPU、8GB 内存、无 GPU）上运行并转化大体积 PDF 文件为 Markdown 格式，且效果良好。

---

🛠️ Marker 项目简介

Marker 是一个基于多模型推理、OCR、LLM 增强的 PDF 转换工具。它的主要特点包括：

• ✏️ 将 PDF 转换为结构化 Markdown 文件
• 📝 支持图像类 PDF 的 OCR（光学字符识别）
• ✨ 支持使用大型语言模型（LLM）来优化段落分块、标题判断、排版
• 🌐 支持多语言：英文、中文（简繁）、法语等
• 🔍 支持表格识别、数学公式识别

---

实现结果展示

一份147页的pdf文件，本地总耗时2h，期间使用Gemini 的gemini-2.0-flash模型 15次，可以到下面的转换效果还是挺好的。

被转化的pdf文件展示

转化后效果展示

PDF 转换为 Markdown：命令执行和日志解析

📋 命令执行说明

执行命令：

systemd-run --scope -p MemoryMax=6.5G -p MemoryHigh=6G   marker_single 19.pdf   --output_dir ./output   --use_llm   --force_ocr   --languages "zh"   --page_range "1-10"

命令解析：

参数	解释
systemd-run --scope	在 systemd 环境中运行命令，确保子进程在内存和资源管理方面得到限制。
-p MemoryMax=6.5G	设置最大内存为 6.5GB，防止进程占用过多内存导致系统 kill 掉。
-p MemoryHigh=6G	设置内存高水位线为 6GB，当内存使用接近这个值时会触发内存回收。
marker_single 19.pdf	执行 Marker 工具，处理 19.pdf 文件并转换成 Markdown 格式。
--output_dir ./output	输出目录，用于保存 .md 文件和媒体资源
--use_llm	启用 LLM（大语言模型）增强功能，以优化结果和结构化输出。
--force_ocr	强制 OCR 识别，即使文本已识别，仍进行 OCR 处理，适用于扫描版 PDF。
--languages "zh"	设置语言为中文，进行中文文本识别。
--page_range "1-10"	仅处理 PDF 文件的第 1 到第 10 页。

---

📰 日志逐行解析

1. 运行标识：

Running as unit: run-reab57e6c4f214bed978c5c63a78fff91.scope; invocation ID: 6747a63b84f841c49fe352a3d5ab47c4

• 这行表示当前进程是通过 systemd-run 以独立作用域（scope）执行的。scope 会限制进程的资源使用，确保不会影响其他进程。

2. 加载模型：

Loaded layout model s3://layout/2025_02_18 on device cpu with dtype torch.float32
Loaded texify model s3://texify/2025_02_18 on device cpu with dtype torch.float32
Loaded recognition model s3://text_recognition/2025_02_18 on device cpu with dtype torch.float32
Loaded table recognition model s3://table_recognition/2025_02_18 on device cpu with dtype torch.float32
Loaded detection model s3://text_detection/2025_02_28 on device cpu with dtype torch.float32
Loaded detection model s3://inline_math_detection/2025_02/24 on device cpu with dt