MinerU 新版本发布,API内测开放申请,诚邀开发者共建

【MinerU技术原理深度解析】大模型时代的文档解析革命 在AI技术快速发展的今天,大量非结构化数据的处理成为亟待解决的问题。尤其是PDF文档,作为最常见的文件格式之一,如何高效准确地提取其中的信息,成为了许多企业和研究机构的痛点。上海人工智能实验室(上海AI实验室)大模型数据基座OpenDataLab团队开源了全新的智能数据提取工具——MinerU,旨在解决这一问题。MinerU能够将混合了图片、公式、表格、脚注等复杂元素的PDF文档转化为Markdown和JSON格式,大幅提升了AI语料的准备效率。 阅读详情
AI摘要

AI结构化数据提取开源工具MinerU发布新版本,进行大量代码重构,降低硬件需求。新版重构文档处理模块,提升排版适应性与识别精度;模型能力全面升级,解析效率倍增;优化显存,提升处理速度。同时,Demo使用体验升级,API开放内测申请,还启动了“探索者”开发激励计划。

AI结构化数据提取开源工具 MinerU 最新版本发布。本次更新进行了大量代码重构,降低了硬件需求,数据提取性能及易用性“双提升”。(点击查看MinerU介绍→登顶GitHub Trending,开源工具MinerU助力复杂PDF高效解析提取)

全新版本 MinerU 接入了新的表格模型 StructTable-InternVL2-1B,表格解析选择更丰富。同时优化了线上Demo使用体验,开放API内测申请,参与“探索者”计划,加入MinerU开源共建,将有机会赢得精美周边及算力支持等丰富奖励。

MinerU项目地址:(点击文末“阅读原文”直达)https://github.com/opendatalab/MinerU

MinerU Demo 地址:https://opendatalab.com/OpenSourceTools/Extractor/PDF

一、MinerU最新版特点

1. 重构文档处理模块:提升排版适应性与识别精度

● 重构排序模块代码,使用layoutreader进行阅读顺序排序,确保在各种排版下都能实现极高准确率;

● 重构段落拼接模块,在跨栏、跨页、跨图、跨表情况下均能实现良好的段落拼接效果;

● 重构列表和目录识别功能,极大提升列表块和目录块识别的准确率及对应文本段落的解析效果;

● 重构图、表与描述性文本的匹配逻辑,大幅提升图注和脚注与图表的匹配准确率,并将描述性文本的丢失率降至接近0;

2. 模型能力全面升级:多语言、布局、公式、表格解析效率倍增

● 增加OCR 的多语言支持,支持繁/简中文在内的全球 84 种语言的检测与识别,OCR 语言支持列表清单:

https://paddlepaddle.github.io/PaddleOCR/latest/ppocr/blog/multi_languages.html#5

● 集成最新 PDF-Extract-Kit 1.0 版本,文档布局检测、公式识别、表格识别准确度、速度更上一层楼。PDF-Extract-Kit 1.0模型包括:

- 加入自研的 doclayout_yolo 模型,在相近解析效果情况下比原方案提速10倍以上,可通过配置文件与 layoutlmv3 自由切换;

- 公式解析升级至 unimernet 0.2.1 ,在提升公式解析准确率的同时,大幅降低显存需求;

- 正式接入 StructTable-InternVL2-1B 表格模型,支持HTML输出格式;可通过配置文件与 tablemaster 自由切换;

(doclayout_yolo布局检测模型效果示意)

3. 显存优化,降低资源需求,大力提升处理速度

● 优化配置文件的功能开关,除已有的表格检测开关外,MinerU 0.9.2版本新增了独立的公式检测开关,无需公式检测时可大幅提升速度和解析效果;

● 增加显存回收逻辑及其他显存优化措施,大幅降低显存使用需求。开启除表格加速外的全部加速功能(layout/公式/OCR)的显存需求从16GB降至8GB,开启全部加速功能的显存需求从24GB降至10GB;

二、Demo使用体验升级,API开放内测申请

支持多种文档格式,可解析在线PDF

MinerU 线上Demo新增支持 doc\docx\ppt\pptx 4种格式文档提取;支持输入PDF文件url链接自动解析(url需要以.pdf结尾);此外,文件可以批量上传,在文件列表统一管理所有任务,查看、筛选、删除提取记录更方便。

MinerU Demo 地址:https://opendatalab.com/OpenSourceTools/Extractor/PDF

划重点!!!大家呼声很高的MinerU API已推出,正在小范围体验和试用,欢迎大家提交申请:MinerUMineru 智能数据提取https://mineru.net/apiManage/docs

MinerU教程第二弹丨MinerU 本地部署保姆级“喂饭”教程 本文为MinerU的本地部署指南,MinerU是一款由上海人工智能实验室OpenDataLab团队开发的开源PDF转Markdown工具,适用于RAG、LLM语料准备等场景。文章详细介绍了MinerU的功能特性,包括文档处理、格式转换和运行环境支持。接着,提供了系统要求和基础环境配置的说明,并逐步指导用户完成Conda环境的创建、模型文件的下载以及GPU加速的配置。此外,文章还涵盖了功能测试、批量PDF转换、本地API服务的搭建和卸载MinerU的步骤。对于不熟悉代码或硬件条件有限的用户,推荐使用官方提供的 阅读详情

相关推荐

私有化部署MinerU 与应用实践

MinerU是一款强大的开源pdf、word、ppt数据提取工具,本文介绍私有化环境中部署MinerU和应用的实践。

weixin_46423102的博客 3678

MinerU、Magic-PDF、Magic-Doc

一、关于 MinerU 二、Magic-PDF 1、简介 2、项目全景 3、流程图 4、子模块仓库 三、Magic-PDF 上手指南 1、配置要求 2、安装配置 1. 安装Magic-PDF 2. 下载模型权重文件 3. 拷贝配置文件并进行配置 4. 使用CUDA或MPS加速推理 CUDA MPS 3、使用说明 1) 通过命令行使用 直接使用 更多用法 2) 通过接口调用 本地使用 在对象存储上使用 4、常见问题处理解答 四、Magic-Doc 1、简介 2、安装 3、使用示例 4、性能

AI工程化、开源分享、文档翻译、代码笔记 6万+

Codex API 直接集成指南:告别中转代理,构建稳定高效的 AI 应用

在 AI 应用开发中,API 集成是连接模型能力与业务逻辑的核心环节。其基本原理是通过 HTTP 协议,按照服务提供商定义的规范发送请求并解析响应,实现远程调用。标准化的 API 设计确保了跨平台和跨语言的互操作性,其技术价值在于提供了稳定、可控且可扩展的服务接入方式,是构建企业级智能应用的基础。在实际应用场景中,开发者常需集成如 Codex 这类聚合了多种大语言模型的平台,以调用诸如 DeepSeek 等先进模型。然而,部分开发者仍依赖过时的第三方中转代理工具,这不仅引入了单点故障和版本锁定的风险,还可能

weixin_28224217的博客 339

MinerU-pdf识别-本地部署

项目介绍:这是一款支持PDF、网页、电子书提取的一站式、开源、高质量数据提取工具。

人工智能(AI)技术,大模型技术,深度学习,机器学习,计算机视觉,AI工具实践应用等分享 1万+

车规级非易失存储选型指南:从AEC-Q100到ISO 26262的可靠性设计

非易失存储器是电子系统中负责长期保存关键数据与代码的核心组件,其可靠性直接决定了系统的长期稳定运行能力。在汽车电子领域,这一要求被提升到了极致,必须满足严苛的车规级标准。从原理上看,存储器的数据保持能力、擦写寿命等关键参数在高温、振动等恶劣环境下会急剧衰减,因此需要专门的设计与验证。其技术价值在于保障车辆全生命周期的功能安全与数据完整性,避免因存储失效导致的安全隐患或频繁维护。应用场景涵盖从发动机控制单元、自动驾驶域控制器到智能座舱的各类电子控制单元。本文聚焦于车规级非易失存储的选型,深入解析AEC-Q10

weixin_30938149的博客 458

ai数字人系统部署

这段代码实现了基本的语音交互闭环,用户通过语音输入问题,数字人识别语音后进行自然语言理解并生成回复,再将回复转换为语音输出。但实际应用中的 AI 数字人系统更为复杂,如形象渲染需专业图形引擎(如 Unity、Unreal Engine),自然语言处理也会涉及更复杂的模型微调及多轮对话管理等。一个完整的 AI 数字人系统涵盖形象生成、自然语言处理、动作控制等多个复杂功能,下面为你提供一个 Python 示例,整合多个库来实现数字人基础功能,包括语音交互、简单的自然语言理解以及通过虚拟形象展示对话。

weixin_ggwwsscc的博客 369

MinerU 1.3.12 正式版 离线环境整合一键包 使用教程(无需安装部署, 解压即用)

最近发现了一款工具大语言语料处理神器-MinerU, 非常适合在RAG等应用场景中使用, 开源免费MinerU其中的一个功能是将 PDF 转化为 markdown 格式的工具, 对PDF文档提取的效果目前是市面上效果比较好的, 最新的版本还支持了PDF中表格的识别MinerU 官方仓库: https://github.com/opendatalab/MinerU装环境相对麻烦, 为此我制作了环境一键包, 下面就介绍下环境一键包的使用。

后端开发/摄影师/运营 2万+

头歌平台 操作系统课堂练习2.3:系统调用

使用 gdb 调试内核,跟踪到 main 函数入口的方法与之前实训一样。系统运行时,执行的前 3 个系统调用的编号和名字分别是什么?系统运行时,执行的前 3 个系统调用的编号和名字分别是什么?本关卡使用版本 1 内核进行分析,版本 1 内核文件存放在。为了完成本关任务,你需要:跟踪系统调用的发生。此时,系统调用号存放在寄存器 eax 中。

lazbuyaotoutu的博客 2万+

AI驱动的PDF文档智能解析:MinerU本地部署与API调用完全指南

MinerU是一个将复杂文档(如PDF)转换为LLM就绪的markdown/JSON格式的工具,用于Agentic工作流。相比传统PDF解析工具,MinerU在文档结构解析、多媒体提取、公式识别等方面有着显著优势。

Vantastic999的博客 4803

AI量化投资开源平台——Qlib(微矿)的学习使用笔记(随缘更新)

Qlib 涵盖了量化投资的全过程,为用户的 AI 算法提供了高性能的底层基础架构,从框架设计上让用户可以更容易地应用 AI 算法来辅助解决量化投资的各个关键问题(例如 Alpha 预测,风险预测,市场动态性建模)。本文旨在记录一些面向初学者的基础内容。

in_void的博客 3133

【OpenClaw企业级智能体实战】第09篇:OpenClaw金融投研实战:17个场景+完整代码,打造专属数字研究员

金融投研面临信息过载、流程重复、数据安全合规三大核心痛点,OpenClaw作为本地部署的新一代AI智能体,凭借“长期记忆+主动执行+数据不出域”的优势,成为券商分析师集体追捧的效率工具。本文基于8家头部券商公开研报,拆解OpenClaw在金融投研的17个核心应用场景(信息处理、研报撰写、量化策略、流程自动化),详解原理、技术选型、实操流程,并提供可直接运行的完整代码与执行结果。文章兼顾新手入门与进阶提升,强调安全隔离部署与幻觉防范,读者可按步骤搭建专属投研智能体,将信息处理、数据整理等重复工作效率提升80%

专注于人工智能、软件开发、工控自动化、工厂数字化及智能化等领域,希望和大家共同进步! 674

实战指南:部署MinerU多模态文档解析API与Dify深度集成(实现解析PDF/JPG/PNG)

攻克多模态文档解析瓶颈! 本文手把手教你部署支持图片/公式/表格的MinerU解析服务,突破科学上网限制完成ModelScope模型下载,详解NVIDIA容器运行时配置。更实现与Dify平台的深度集成,通过插件授权+端口映射实战,构建从PDF下载→智能解析→Markdown转换的自动化工作流。

yumuing‘s blog 6506

本文将详细介绍如何在 Qt (C++) 应用程序中集成 osgEarth,加载三维数字地球,并在指定经纬度添加三维模型(如飞机、建筑等)。

OSG 与 Qt 的交互通常需要处理 OpenGL 上下文。osgEarth 3.x 提供了对 Qt 的较好支持,或者可以使用。在普通 OSG 程序中,你需要手动处理坐标系转换将经纬度转为笛卡尔坐标 (XYZ)。这是实现的关键,将 OSG 的渲染循环集成到 Qt 的事件循环中。第三方库,但在本教程中,我们将展示一种通过继承。,将 Qt 的输入事件转换为 OSG 理解的。事件,这是实现交互(旋转地球、缩放)的基础。来嵌入 OSG 视图的标准方法。在这里我们初始化地球并添加模型。节点简化了这一过程。

qq_45859163的博客 1045

【大模型:知识库管理】--MinerU本地部署

摘要: MinerU是由上海人工智能实验室OpenDataLab团队开发的开源智能数据提取工具,专注于解析复杂PDF文档(含图片、公式、表格等),将其转换为结构化Markdown格式。其核心功能包括多模态内容处理、公式LaTeX转换、干扰元素去除及乱码修复,支持CPU/GPU和跨平台运行。部署需Python 3.10~3.13环境,可通过conda或Docker安装,提供本地及云模型源(HuggingFace/ModelScope)选择。工具链整合了LayoutLMv3、YOLOv8等模型,适用于学术、法律

我是个好人呀,O(∩_∩)O 1万+

使用conda环境python3.13和python3.12下安装vllm过程记录

使用conda环境python3.13和python3.12下安装vllm过程记录

没刮胡子的程序员专栏 885

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

最新开源的解析效果非常好的PDF解析工具MinerU (pdf2md pdf2json)

毫不夸张的说PDF解析工具MinerU是照进RAG黑暗中的一道光——这是我对它的评价。我测过太多了文档解析工具! 最近在做文档解析的工作。看了很多的开源的文档解析的工具,版面分析的工具,其中包括paddelpaddel这样30k+star的明星工具。但是效果都觉得不好。 MinerU是一个最近开源的文档解析工具,可以把PDF转成json结构,还可以转成md格式。可以解析得到其中的图片,表格,可以得到段落,可以得到标题,这是很哇塞的事情。因为最近RAG特别火热,这些都是RAG非常需要的。

Angus 3万+

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能:商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传,基本资料下载,开钱箱、小票打印、收款结算,支持多币种付款方式(现金、储值卡、礼券、微信等),支持多种促销。运行环境:.net 4.0登陆信息用户名:1001 密码:123456内置商品信息,商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

基于Mineru的pdf和word文档解析API

MinerU是一款将PDF转化为机器可读格式的工具(如markdown、json),可以很方便地抽取为任意格式。

Leekinxun的博客 4590

pscad IEEE标准系统搭建说明

pscad IEEE标准系统搭建说明,包含典型的IEEE 9节点、14节点、30节点、39节点和118节点系统。内含标准测试系统的原始数据和潮流结果。

MinerU本地化部署教程——一款AI知识库建站的必备工具

MinerU本地化部署教程——一款AI知识库建站的必备工具

寒冰屋的专栏 3266

开源神器MinerU:一键提取PDF、网页、电子书的宝藏工具

MinerU是由opendatalab开发的一站式开源数据提取工具,它包括两个主要组件:Magic-PDF和Magic-Doc。Magic-PDF专注于PDF文档的提取,而Magic-Doc则能够处理网页和电子书。

XPlaza的博客 4436

安装minerU的API服务

本地安装mineru的API服务,是为了可以自行调用mineru完成文件的内容获取。下面是Window系统的操作,linux类似。

每天学习一点点 5242

MinerU v2.0:VLM模型捅破解析效果天花板!

之前写 Dolphin 的分析文章时,我对 VLM 进行文档解析的路线始终不抱希望,因为之前的规律表明:只有模型参数足够大,才能获得好效果,小参数模型一致难以企及大参数模型的性能。MinerU 0.9B 的 VLM 模型让人眼前一亮,一个模型同时解决了布局分析、公式识别、文本OCR等各种任务,而且效果不错。本文中的实验结果表明,每块部分都由小模型去做,虽然能应对大多数场景,但对于部分复杂场景,它的瓶颈也暴露无疑,很难再通过数据训练去突破。

兴趣使然的创作者 9432

MinerU PDF 文档提取 Demo (PDF解析)

Magic-PDF 是一款将 PDF 转化为 markdown 格式的工具。支持转换本地文档或者位于支持S3协议对象存储上的文件。主要功能包含支持多种前端模型输入删除页眉、页脚、脚注、页码等元素符合人类阅读顺序的排版格式保留原文档的结构和格式,包括标题、段落、列表等提取图像和表格并在markdown中展示将公式转换成latex乱码PDF自动识别并转换支持cpu和gpu环境支持windows/linux/mac平台。

shizidushu的博客 4827

登顶GitHub Trending,开源工具MinerU助力复杂PDF高效解析提取

在7月4日举行的WAIC 2024科学前沿主论坛上,书生·浦语2.5正式发布,面向大模型研发与应用的全链条工具体系同时迎来升级。在数据处理环节,上海人工智能实验室(上海AI实验室)大模型数据基座OpenDataLab团队开源了全新的智能数据提取工具——MinerU。

ShushengPuyu的博客 5247

Mineru 部署指南

创建一个 conda 环境 并 激活在虚拟环境中安装 MinerU 的环境配置,这部分下载的环境是 cpu 版本,如下载成功后进行下一步。

qq_56694194的博客 1218

RAG项目必备!文档解析神器MinerU:2.5万星标!支持GPU加速,轻松应对复杂文档

MinerU能够轻松应对各种PDF文档需求,包括考题、PPT、论文、教科书、图书、杂志、笔记、新闻、研报等,并支持其他类型的文档转换为PDF后提取,如图片、PPT和Word文档。精准识别版面元素,删除页眉/页脚/脚注,同时保留正文内容。

star_nwe的博客 3513
上一篇: DocLayout-YOLO,让多样性文档布局检测更快、更准、更强
下一篇: 最新MinerU直播回放来了,还有热门精华问答,速看!
OpenDataLab
博客等级 码龄4年 636粉丝 135原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值