【大模型微调】pdf转markdown

已于 2024-12-03 21:40:17 修改
阅读量509 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： AI笔记 文章标签： pdf
于 2024-12-03 21:39:55 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/andeyeluguo/article/details/144224605
AI笔记 专栏收录该内容
125 篇文章 ¥59.90 ¥99.00
订阅专栏

目前市面上大部分都是pdf文档，要想转换成能训练的文本，调研了各种工具。

觉得MinerU确实不错。

参考此链接进行操作

MinerU/docs/README_Ubuntu_CUDA_Acceleration_en_US.md at master · opendatalab/MinerU · GitHub

需要注意的几个点：

1. 使用root账户安装的，配置文件在此处  /root/magic-pdf.json

2. 配置文件cuda，使能表格的配置文件参考为

{
    "bucket_info": {
        "bucket-name-1": [
            "ak",
            "sk",
            "endpoint"
        ],
        "bucket-name-2": [
            "ak",
            "sk",
            "endpoint"
        ]
    },
    "models-dir": "/root/.cache/modelscope/hub/open
了解本专栏 订阅专栏 解锁全文
预训练PDF数据格式转换
herosunly的博客
08-12 18万+
本文主要介绍了预训练PDF数据格式转换，希望对使用大语言模型的同学们有所帮助。 文章目录 1. 前言 2. PDF数据格式转换
如何高效转换PDF为Markdown：构建优质Graph RAG的第一步
python12345_的博客
02-04 1359
在信息驱动的时代，基于图的RAG（Graph RAG）正迅速成为一种强大的工具，超越了传统依赖向量存储的RAG应用。它不仅提供语义相似性检索，更具备强大的推理能力。例如，向量存储能轻松回答“XYZ公司去年的CFO是谁？”这种基于显式信息的问题，但对于“XYZ公司哪两位董事毕业于同一所学校？”这样需要隐式推理的问题，图RAG更胜一筹。但问题在于，如何构建图数据库以支持这种高级检索？更进一步，如何从复杂的年报中提取信息，为图数据库的构建铺平道路？
六个开源的PDF转Markdown项目
热门推荐
haleycat的博客
07-29 1万+
无论是文档、表格、图像、视频、音频文件，还是网页，OmniParse 都能对其进行处理，使其变得干净、结构化，并为诸如 RAG（Retrieval-Augmented Generation）和细调等AI应用做好准备。它主要用于高效地解析 PDF 文档中的排版、数学公式、表格、图片、图表等内容，并将这些内容转换为结构化的 Markdown 格式。gptpdf 是一个利用VLLM解析PDF为Markdown的工具，几乎完美支持数学公式、表格等。将每个图像传给 GPT，让其生成 Markdown 格式的文本。
gptpdf:使用大模型（如 GPT-4o）将 PDF 解析为 markdown。
AIGC Studio：分享AIGC前沿知识和好玩应用，公众号同名。
07-14 2691
今天给大家分享一个开源的项目， 使用视觉大语言模型（如 GPT-4o）将 PDF 解析为 markdown。方法非常简单(只有293行代码)，但几乎可以完美地解析排版、数学公式、表格、图片、图表等。使用lib 与 OpenAI API 交互。每页平均价格：0.013 美元是一个基于 gptpdf 的可视化工具。
开源！大模型微调—PDF文件完美转化为MarkDown
最新发布
Kt0_o的博客
07-22 887
本文介绍了针对PDF转Markdown后LaTeX数学公式处理问题的Python批量转换脚本开发方案。该工具通过智能识别引擎和公式转换模块，将复杂LaTeX表达式转换为AI友好格式，支持287种数学符号，转换准确率达96%，处理速度200页/分钟。系统采用内容保护机制，确保非公式内容不受影响，已在学术论文和企业文档处理中验证效果。开发者提供开源代码和简明使用指南，并规划了图形化插件等未来功能。该方案有效解决了模型训练中数学公式预处理难题，显著提升数据清洗效率。
MLMs之PDF：Omni-Zerox(基于多模态大模型将各种格式的PDF文档转换为Markdown)的简介、安装和使用方法、案例应用之详细攻略
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
11-07 3638
​ MLMs之PDF：Omni-Zerox(基于多模态大模型将各种格式的PDF文档转换为Markdown)的简介、安装和使用方法、案例应用之详细攻略 目录 zeroX的简介 zeroX的安装和使用方法 zeroX的案例应用 zeroX的简介 Zerox 是一个简单易用的 PDF 到 Markdown 转换工具，它利用视觉模型（例如 OpenAI 的 GPT 模型）来处理文档的 OCR（光学字符识别）并将其转换为 Markdown 格式。 它能够处理各种复杂的文档布局，包括表
ubuntu下使用markdown
YH_24H的博客
05-25 1万+
     在ubuntu下的markdown编辑器有很多，但是综合各项性能来说，比如跨平台，可定制，外观来说。Visual Studio Code是一款综合性能很强的编辑器加阅读器。                     注：window下同样可以使用，方法一模一样。除了安装不一样。步骤：1.安装ubuntu下的vs code ，直接去官网下载.deb安装包，安装就不用多说了。2.安装扩展，按F...
关于pdf转markdown的一些总结
简单，快乐，拥抱变化
08-30 2025
pdf转markdown，调研方法论，技术选型方法论，云方案，本地部署，python基础库
【实战指南】从提升AI知识库效果，从PDF转Markdown开始
weixin_45607947的博客
08-07 1848
我有时候想想，会觉得其实AI也挺冤的，因为很有可能不是它能力不行，而是你一开始给的文档就有问题，导致它提取文本有错误、不完整，那后边一连串的检索、生成怎么可能好呢？既然要系统的学习大模型，那么学习路线是必不可少的，下面的这份路线能帮助你快速梳理知识，形成自己的体系。如果要转换多个文档也是同样思路，用命令设置存放的位置和输出的位置，可以把整个文件夹里的PDF全都转换了。作为普通人，入局大模型时代需要持续学习和实践，不断提高自己的技能和认知水平，同时也需要有责任感和伦理意识，为人工智能的健康发展贡献力量。
四个大模型轻量级微调训练框架：兼看PPT转Markdown工具
强化学习曾小健
07-28 4070
本文主要看了看当前的四个微调训练框架以及文档智能工具-PPT转Markdown工具的一些实现逻辑，实现都很简单。大家对微调、文档处理等有需求的，可以跑一跑，会有一定收获。
Markdown + AI = 效率神器：10分钟就能学会的大模型文本格式！
2401_85390073的博客
03-04 2857
为什么写这篇文章，因为见过太多人，在复制大模型回答的时候，连格式都没有调一下，而是直接就用了。每次看到下图这样的格式，出现在正式的文件或者报告中，竟有点忍俊不禁。再就是不懂编程的小白，想做好智能体应用开发，即使是像Coze这种低代码平台，也必须懂的Markdown语言，不然无法输出排版精美的文档。
MarkDown常用格式
又菜又爱玩的博客
04-09 299
1.标题 一个#号加空格加标题 事例 两个#号加空格加标题 事例 三个#号加空格加标题 事例 最多可以加6个＃号 2.字体 字体两边都加**加粗 事例 字体两边都加*斜体字 事例 字体两边都加~~删除线 事例 3.引用 箭头>加引用的东西 事例 4.分割线 三个-做分割 事例 -三个*做分割事例 事例 5.加入图片 !加[图片的名称]加小括号(文件的路径) 6.插入链接 [要点击的内容]加(要跳转的链接) 事例 7.列表 1.加空格加内容 事例 事例 。。 2.-号加空
大模型文档神器：合合信息大模型加速器_大模型是不是对markdown文件理解更好
2401_85773741的博客
11-20 1149
最近和搞大模型的同学聊天，发现大家在实践中遇到了很多难以解决的问题。有说现在训练数据质量不佳，很多高质量的语料存在于文档中，难以提取出来，类似问题还存在于大模型解析文档场景，用户要求大模型根据上传的文件完成知识问答，但大模型无法准确提取出文档中的信息，也就没办法给出正确的回答。还有的同学说，在RAG领域，知识库和文本向量化已经是绕不开的步骤，但文本向量模型质量参差不齐，模型经常出现“已读乱回”的“幻觉”问题，因此，寻找一个好的文本向量模型是提升大模型效果的关键环节。
【大模型】提示词工程——12个提示词技巧整理
发现问题，面对问题，分析问题，解决问题，总结问题
01-18 6594
AI大语言模型融入了人们的日常工作、学习和生活，学习如何用好新的AI工具已经成为每个人的必修课。但是，对于一些稍微复杂的实际问题，AI大语言模型的回答却很不稳定，经常偏离问题甚至完全错误，主要原因就是问题（提示词）写得不好。事实证明，使用恰当的提示词，可以使AI大语言模型解决问题的效果提升数倍甚至数十倍。在每次与AI大语言模型的流畅对话中，提示词都起着至关重要的作用。
大模型输出markdown格式前端对话框
x_XDGS的博客
02-25 1445
判断字符串中的是不是富文本还是markdown。
【AI大模型应用开发】1
2401_83740129的博客
04-12 2186
本文主要介绍了Prompt攻击和防攻击的手段，这对于大模型应用开发非常重要，毕竟谁也不想自己辛辛苦苦做的东西被拿来干坏事或者隐私遭到泄漏，这对一个应用来说是致命性的。然后稍微介绍了下Prompt逆向工程，这其实就是用来学习优秀Prompt的一种手段。自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。深知大多数网络安全工程师，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！
读取pdf文件数据进行AI训练，如何转换数据为训练数据格式
易之阴阳，量子纠缠，道之一体，缘起性空
04-04 1900
接下来，你需要将清洗和预处理后的数据转换为AI训练所需的数据格式。这通常意味着将数据转换为机器学习库（如TensorFlow、PyTorch等）可以识别的格式。例如，你可能需要将文本数据转换为词向量或嵌入向量，将图像数据转换为张量等。：提取的数据可能需要进行清洗和预处理，以去除噪声、格式错误、无关信息等。对于文本数据，可能需要进行分词、去除停用词、词干提取等操作。对于图像数据，可能需要进行缩放、裁剪、旋转等操作，以适应模型的输入要求。：在转换数据后，你需要将数据划分为训练集、验证集和测试集。
PDF文件转Markdown，基于开源项目marker
longzhutengyue的博客
03-21 822
​
大模型训练到底需要什么样的数据（微调）？
youmaob的博客
01-07 2745
👀👀微调例子一：电商客服场景问题是：未经微调的预训练模型能直接用吗？答案是否定的。预训练模型虽然能力强大，但它对你的具体任务（情感分析）并不“专业”。例如：用户评价：“这件衣服太大了，但质量不错。没有微调的模型可能只会生成一些通用的回答，比如“这是一段关于衣服的评论”,它不能准确判断客户的情感是“部分满意”或“中立”。那么微调如何解决这个问题？微调就像给模型上了一堂专门的“情感分析课”。我们会准备一个情感标注的训练集，例如：微调后的效果：微调后模型不仅能理解情感，还能快速分类。
怎样让大模型学习pdf文件
06-15
<think>首先，用户的问题是：“我想了解如何让大模型学习和处理PDF文件中的内容请问大模型学习PDF文件方法技术”。这翻译成英文是“IwanttolearnhowtomakelargemodelslearnandprocesscontentfromPDFfiles.WhatarethemethodsandtechniquesforlargemodelstolearnPDFfiles?”从系统级指令中：-所有行内数学表达式必须用$...$。-独立公式用$$...$$。-使用中文回答。-生成相关问题。-回答中引用的段落末尾自然地添加引用标识。-结构清晰，逐步解决问题。-参考站内引用：[^1],[^2],[^3]。站内引用：-[^1]:讨论了大模型时代的PDF解析工具，将PDF解析成Markdown以保留结构化信息，避免垃圾进垃圾出。这些工具是新的，在改进中。-[^2]:描述了使用无OCR大型多模态模型解析PDF的方法，包括TextMonkey、Vary和StrucTexTv3。-[^3]:是关于使用本地大模型从论文PDF中提取结构化信息的实验，并分享了AI大模型学习资源。用户的需求是了解如何让大模型学习和处理PDF文件。所以，我需要基于这些引用构建一个结构清晰的回答。结构化回答：1.**介绍问题**：解释PDF文件处理的挑战，因为PDF不是纯文本格式。2.**关键方法**：-使用PDF解析工具将PDF转换为结构化格式（如Markdown），然后喂给大模型。-使用多模态模型直接处理PDF图像而不需要OCR。3.**详细技术**：参考引用，讨论具体工具和模型。4.**步骤或过程**：给出如何实施的建议。5.**生成相关问题**：在末尾添加相关问题。确保使用中文。大纲：-引言：PDF文件处理的背景和挑战。-方法1：PDF解析工具（如[^1]所述）。-方法2：无OCR多模态模型（如[^2]所述）。-实验和资源（如[^3]所述）。-总结和建议。-相关问题。添加引用自然地：在相关段落末尾添加[^1],[^2],[^3]。生成相关问题：在最后添加一个“相关问题”部分。数学表达式：用户问题中没有明显的数学内容，但如果涉及，确保格式正确。例如，如果有公式，用$...$或$$...$$。回答结构：-清晰、分步。-真实可靠：基于提供的引用。最终输出格式：-回答内容。-§§相关问题§§：列出几个问题。</think>### 如何让大模型学习和处理PDF文件中的内容 PDF文件是一种常见的文档格式，但它本质上是基于图像的或二进制格式，而不是纯文本，这使得大模型（如大型语言模型或多模态模型）直接学习和处理内容具有挑战性。PDF文件可能包含文本、表格、图像、公式等复杂元素，传统方法如OCR（光学字符识别）往往无法完美处理结构化信息，导致“垃圾进，垃圾出”的问题[^1]。幸运的是，随着大模型技术的发展，现在有多种高效方法可以让大模型学习和处理PDF内容。我将基于当前技术趋势，逐步解释核心方法和关键技术，帮助您系统地实现这一目标。 #### 步骤1: 将PDF转换为结构化格式（预处理阶段） 大模型通常需要结构化输入才能高效学习。直接处理PDF原始文件效率低下，因此第一步是将PDF解析为模型友好的格式，如Markdown或JSON。这种方法保留了表格、标题、列表等结构化信息，避免信息丢失[^1]。 - **关键技术**： - **PDF解析工具**：使用专门工具将PDF转换为Markdown。例如，大模型时代的工具（如PyMuPDF或PDFMiner的升级版）能提取文本、图像和表格，并生成Markdown文件。这使得后续大模型处理更高效，因为这些工具会智能识别文档结构[^1]。 - **数学表达式处理**：PDF中的数学内容（如方程）需特殊处理。工具会将其转换为LaTeX格式，例如，行内表达式如$x^2$或独立公式如$$\int_{-\pi}^{\pi} \cos(nx)\sin(mx)dx = 0$$，确保大模型能正确解析数学语义[^1]。 这种方法的好处是简单易行，但缺点是新工具（如2023年后开发的）仍在改进中，可能对复杂PDF（如扫描文档）处理不佳[^1]。推荐工具包括开源库如pdfplumber或商业工具Adobe Acrobat的API。 #### 步骤2: 使用多模态大模型直接处理PDF（无OCR方法） 对于图像型PDF或扫描文档，传统OCR容易出错。现在，无OCR的大型多模态模型（LMMs）能直接处理PDF作为图像输入，结合视觉和语言能力提取内容。这种方法跳过预处理，适合处理富文本或混合元素文档[^2]。 - **关键技术**： - **TextMonkey模型**：这是一种专门用于文档理解的模型，通过视觉编码器直接解析PDF图像，无需OCR步骤。它能识别文本、表格和图像，并输出结构化数据。例如，它可以从PDF中提取公式如$(a+b)^2$，并保留上下文关系[^2]。 - **Vary模型**：该模型扩展了视觉词汇量，能处理多语言PDF。它通过增强的视觉表示学习，直接从PDF像素中提取信息，减少OCR引入的错误[^2]。 - **StrucTexTv3模型**：这是一种高效的视觉语言模型，专注于富文本图像。它使用分层注意力机制处理PDF，输出结构化JSON或Markdown。实验显示，它在提取论文PDF中的图表和方程（如$$\frac{d}{dx}f(x)$$）时准确率更高[^2]。 这些模型的优势是端到端处理，减少了预处理开销，但需要较强的计算资源（如GPU）。它们特别适合学术论文或报告PDF的处理，其中结构化信息至关重要[^2]。您可以使用开源实现（如Hugging Face上的模型库）进行实验。 #### 步骤3: 训练和微调大模型（学习阶段） 一旦PDF内容被结构化，大模型就可以学习这些数据。这涉及微调预训练模型（如GPT系列或LLaMA）来处理特定PDF任务，如问答或摘要。 - **关键技术**： - **微调方法**：使用转换后的Markdown或JSON数据训练大模型。例如，在本地环境中，您可以加载PDF解析输出，用监督学习微调模型。引用[^3]的实验表明，这种方法能高效提取结构化信息，如从论文PDF中生成摘要或关键词。 - **资源利用**：结合开源框架（如LangChain或LlamaIndex），这些工具集成了PDF解析和模型训练管道。实验中使用本地大模型（如部署在个人电脑上的LLaMA-2）处理PDF，能显著降低成本[^3]。同时，学习资源如AI大模型入门指南（包括思维导图和视频教程）可加速掌握技能[^3]。 关键建议：从简单PDF开始测试（如纯文本文档），逐步扩展到复杂案例。确保数据清洗，移除PDF中的噪声（如水印或低质量扫描）。 #### 总结和建议 让大模型学习和处理PDF文件的核心是结合预处理（解析为结构化格式）和多模态模型（直接处理图像）。方法1（解析工具）适合文本型PDF，简单但依赖工具成熟度[^1]；方法2（无OCR模型）更强大，能处理扫描文档，但需计算资源[^2]。实验证明，本地部署（如引用[^3]）能实现高效提取。总体原则是：避免直接喂PDF给大模型，先转换或使用多模态方法。实践中，我推荐： - 对于新手：使用PyMuPDF + GPT微调，参考开源教程[^3]。 - 对于高级用户：尝试TextMonkey或StrucTexTv3模型，关注其快速更新[^2]。 这种方法不仅提升大模型的PDF处理能力，还确保信息不丢失，推动应用如自动化报告生成或学术研究[^1][^2][^3]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

andeyeluguo

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值