上海AI实验室发布MinerU2:通专融合路线如何补齐AI-Ready数据的最后一公里

【MinerU技术原理深度解析】大模型时代的文档解析革命 在AI技术快速发展的今天,大量非结构化数据的处理成为亟待解决的问题。尤其是PDF文档,作为最常见的文件格式之一,如何高效准确地提取其中的信息,成为了许多企业和研究机构的痛点。上海人工智能实验室(上海AI实验室)大模型数据基座OpenDataLab团队开源了全新的智能数据提取工具——MinerU,旨在解决这一问题。MinerU能够将混合了图片、公式、表格、脚注等复杂元素的PDF文档转化为Markdown和JSON格式,大幅提升了AI语料的准备效率。 阅读详情

导言:

当前,大模型训练的竞争焦点正从“数据规模”转向“数据质量与差异化”方向。如何高效精准地挖掘高质量私域数据成为关键挑战。为解决这一难题,上海人工智能实验室(上海AI实验室)于去年7月开源智能文档解析引擎MinerU,旨在将复杂文档精确地转化为可用于大模型训练的AI-Ready数据。

经一年潜心研发,基于通专融合技术路线,采用全新架构的MinerU2正式推出,其凭借0.9B精巧参数量,在多语言与复杂文档解析精度上实现突破,同级别开源模型综合评分第一。MinerU2在性能、速度跃升的同时,将可解析场景延伸至科学数据领域,补齐AI-Ready数据的最后一公里,缩窄AGI促进科学发现的鸿沟,已成为『书生』科学多模态大模型Intern-S1开源工具链中的重要一环。

目前,MinerU深度集成于『书生』科学发现平台Intern-Discovery和AI地球科学家智能体系统EarthLink,为科研人员提供高效的文档解析与数据提取服务,极大提升了文献处理和科学研究的效率。

一、从“量变”到“质变”:AI-Ready数据成为大模型下半场核心竞争力

随着模型技术发展,互联网数据趋同性导致通用大模型同质化,细分专业化成为深入行业落地的必然路径,这些数据常存在于私域,且以文档形式最为普遍。数据竞争正从“粗放式扩张”转向“精细化挖掘”,从私域数据中构建高质量AI-Ready数据成为竞争关键。

图片

AI-Ready 数据成为大模型下半场核心竞争力

而在私域数据中解析文档和构建AI-Ready数据时,面临着三重结构性挑战:

  • 格式复杂多样:私域数据的来源多样,数据形态格式复杂,对文档解析能力提出挑战

  • 高精度要求:关键领域对数据精度要求高,微小误差可能引发决策偏差与业务风险

  • 高速度需求:数据解析只是大模型研发与落地的第一步,每个环节对速度的容忍性有限

二、MinerU2:基于Intern‑S1拓展科学领域AI‑Ready数据构建能力

在此背景下,上海AI实验室于去年7月推出开源智能文档解析引擎MinerU,支持高精度解析文档元素,支撑构建高质量AI-Ready数据。经过一年的潜心研发,上海AI实验室团队联合北京大学团队,以全新技术架构推出MinerU2——端到端多模态文档解析大模型,位列同级别开源模型综合评分第一,解析精度和速度大幅提升,有力突破了前文提及的三重结构性挑战。

图片

MinerU 相较于同级别开源模型在Benchmark 上的性能对比

MinerU2解析准确率较前代提升22%,实现 “全尺寸・真高清”解析,能精准解析学术论文、教科书等复杂版面。其采用的模型参数量仅0.9B,性能比肩72B大模型,可在消费级显卡单卡上流畅运行。通过集成自适应缩放、SGLang等技术,显著提升推理效率,解析速度较上一代提升6倍。它在精准识别文本、布局、表格基础上,还能高精度提取数学公式、物理符号、化学分子式和化学反应,支撑高质量AI-Ready的语料构建管线,将可解析场景延伸至科学数据领域,补齐AI-Ready数据的最后一公里,缩窄AGI促进科学发现的鸿沟,现已成为『书生』科学多模态大模型Intern-S1开源工具链中的重要一环。

图片

“全尺寸・真高清” “小模型・大能量” “深优化・高性能”

MinerU2的能力突破,植根于上海AI实验室在基础理论与科学数据领域的长期战略投入:

  • “通专融合”技术路线作为理论指导:MinerU2以“通专融合”作为核心技术路线,致力于打造面向科研任务的“革命性工具”,促进科学知识的结构化理解与重组,为解析高度复杂的科学文档提供坚实的工具支撑。
  • OpenDataLab平台提供生态支撑:充分利用OpenDataLab平台汇聚的7700+多领域PB级数据集及核心科学数据资源,结合实验室在数据核心技术方面的持续积累,为模型训练与优化提供了丰富、高质量的专业数据与技术保障。

三、从 GitHub明星到产业基石:MinerU 构建AI-Ready产业生态

MinerU项目以卓越的技术实力从开源社区脱颖而出,多次蝉联GitHub平台的Python Trending榜首,斩获超4万星标,领先同期Llama3的2.9万星标,充分体现了开发者生态的高度认可与广泛影响力。

在国产化适配方面,MinerU深度对接昇腾AI-910B平台,显著提升OCR处理效率——实现单页处理时间从分钟级压缩至2秒,效率提升达60倍,为国产AI技术落地提供有效保障。

MinerU目前向开发者提供了多样化的部署与使用形态,包括开源本地部署、桌面客户端/网页端、在线API接口服务以及MCP企业级服务,全面适配主流AI开发/使用平台如 Dify、CherryStudio、Sider与ModelWhale等。

目前,MinerU已深度接入上海AI实验室『书生』科学发现平台Intern-Discovery和AI地球科学家智能体系统EarthLink平台提供文档解析服务。在 Intern-Discovery中,其内置的论文元分析模块利用MinerU进行深度文档解析与信息提取,为科研人员生成高质量数据表格与分析报告,显著提升了文献处理效率。在 EarthLink中,MinerU文档解析工具则能够智能解析科学实验计划,为地球科学家提供无需编程的气候数据分析与建模能力,有效应对大数据处理难题,助力科研人员专注于科学探索。

MinerU不仅是连接大模型与垂直场景的技术桥梁,更是构建开放协同的AI产业生态的坚实基石。

图片

MinerU 良好的体验,丰富的生态

展望未来,MinerU 将持续以 “Tokenize Everything” 为愿景,不断突破异构数据智能解析的边界,全力推动AI-Ready数据转化进程。届时,海量异构数据中蕴含的万亿价值不仅将得到更加充分的释放,也将为通用人工智能的底层数据根基注入强劲动能。

更多MinerU 相关信息,欢迎访问以下地址👇

MinerU官网:

https://mineru.net/

MinerU桌面客户端:

https://mineru.net/client

在线API申请:

https://mineru.net/apiManage/token

GitHub链接:

https://github.com/opendatalab/MinerU

Dify知识库搭建:MinerU——将PDF转化为markdown实际体验 MinerU是一款将PDF转化为机器可读格式的工具(如markdown、json),可以很方便地抽取为任意格式。MinerU诞生于书生-浦语的预训练过程中,我们将会集中精力解决科技文献中的符号转化问题,希望在大模型时代为科技发展做出贡献。因此,我直接在gothub上把MinerU的工程下载了下来。进入到项目文件夹下,借助右键菜单,打开终端窗口。时间蛮久的,大家耐心等待吧。明天出结果了,我再回来更新。我这里第二步出了问题。 阅读详情

相关推荐

Dify知识库:继续部署minerU。windows wsl docker desktop nvida cuda 又报错了?

不可以latest,只能选择合适的tag,按需配置吧。看了下,现在的tag对应的都挺大的。多粘点错误代码,希望有缘人能刷到吧。突然看到这么一句话,我就笑了。整了半天镜像,还是出错啊!好吧,报的错倒是挺清晰的。

xiezhipu的博客 1705

MinerU v2.0:VLM模型捅破解析效果天花板!

之前写 Dolphin 的分析文章时,我对 VLM 进行文档解析的路线始终不抱希望,因为之前的规律表明:只有模型参数足够大,才能获得好效果,小参数模型一致难以企及大参数模型的性能。MinerU 0.9B 的 VLM 模型让人眼前一亮,一个模型同时解决了布局分析、公式识别、文本OCR等各种任务,而且效果不错。本文中的实验结果表明,每块部分都由小模型去做,虽然能应对大多数场景,但对于部分复杂场景,它的瓶颈也暴露无疑,很难再通过数据训练去突破。

兴趣使然的创作者 9432

红外气体检测方案解析:从NDIR原理到物联网终端设计实践

气体检测是工业安全与环境监测的核心需求,其技术原理主要基于气体分子对特定物理或化学信号的响应。非色散红外(NDIR)技术作为一种物理检测方法,通过测量气体分子对特定波长红外光的吸收来定量浓度,因其不依赖化学反应,具备寿命长、抗干扰强和响应快等优势。在工程实践中,红外气体检测方案的价值在于为物联网终端设备提供了高可靠、低功耗的感知能力,广泛应用于工业过程监控、环境空气质量监测以及智能家居安全预警等场景。本文以一套集成了Microchip MCU、Axetris红外光源和Pyreos热释电传感器的参考设计为例,

weixin_30954817的博客 393

AI大模型实战 | Dify平台MinerU插件无代码部署与知识库构建指南

Dify 是一款近年来热度极高的全能型开源无代码 AI 平台,截至 8 月底已经获得 112K Star✨。它的定位是开源的 LLM 应用开发平台。直观的界面结合了 AI 工作流、RAG 、Agent、模型管理、可观测性功能等,可以帮助用户快速从原型走向生产环境。官网: https://dify.ai/开源地址: https://github.com/langgenius/difyDify 的另一大优势是插件生态非常丰富,大多数场景都能无代码满足,非常适合没有技术背景的团队快速上手。

star_nwe的博客 2766

Zemax单模光纤耦合仿真避坑指南:数值孔径、模式匹配与镀膜影响详解

本文详细解析了Zemax单模光纤耦合仿真中的关键避坑要点,包括数值孔径的多重定义与换算、模式匹配度评估及镀膜影响分析。通过实际案例和技术公式,帮助工程师避免常见仿真误差,提升激光通信和光纤传感系统的设计精度。特别针对OpticStudio用户提供了实用的参数设置建议和优化策略。

weixin_30836759的博客 465

端侧部署与优化:让 AI 真正走进现实生活的关键技术

AI 的开发流程分为 “训练” 与 “推理” 两大阶段。在训练阶段,科研人员依托云端海量数据和高性能 GPU 算力,构建出精度优异的 AI 模型 —— 比如能识别 1000 种物体的图像分类模型、能理解人类语言的自然语言处理模型。但这些在云端 “战绩斐然” 的模型,若直接应用到现实场景中,却会面临三大 “落地困境”。从云端到端侧,从模型压缩到硬件适配,端侧部署与优化技术解决了 AI 落地的核心难题,让 AI 不再是实验室里的 “高精尖技术”,而是融入日常生活的 “实用工具”。

m0_63477749的博客 1052

Dify进阶:知识库构建,MinerU安装完成,看看效果

由于我是windows电脑,使用的安装步骤是,直接从github下载MinerU的项目文件夹,在该文件夹启动终端。(注意docker cp命令是在container之外打的。上回说道,MinerU可以将pdf转化为Markdown,这对于大语言模型的知识库构建来说,十分重要。在docker desktop的界面上,找到这个container,可以拷贝它的ID。这个过程,在我这儿竟花费了足足一个半小时。害我几部短剧都看完了,也没等到最终的结果。按照官方的教程,到这里就已经是成功了。最终结果在这儿可以看。

xiezhipu的博客 6976

[Dify] 【实战笔记】优化 Excel 电话簿类知识库检索效果的实战技巧

摘要:文章分析了Dify知识库在处理Excel结构化数据(如电话簿)时出现的检索异常问题,发现主要原因是默认召回多条记录且缺乏精准匹配机制。提出两个核心解决方案:1)优化知识库召回参数,包括调整TopK值、提高关键词权重等;2)设计精准提示词模板,明确约束模型行为范围。通过对比测试验证了优化效果,并给出进阶建议如数据格式转换、输出格式化等。最后针对知识检索类AI应用提供了场景适配建议。

技术小甜甜:传播可落地技术,帮助个人和企业降低解决真实场景问题的成本 367

实战指南:部署MinerU多模态文档解析API与Dify深度集成(实现解析PDF/JPG/PNG)

攻克多模态文档解析瓶颈! 本文手把手教你部署支持图片/公式/表格的MinerU解析服务,突破科学上网限制完成ModelScope模型下载,详解NVIDIA容器运行时配置。更实现与Dify平台的深度集成,通过插件授权+端口映射实战,构建从PDF下载→智能解析→Markdown转换的自动化工作流。

yumuing‘s blog 6506

OpenLayers6入门,快速搭建Vue+OpenLayers地图脚手架项目

本章针对Vue初学者,对Vue不熟悉,甚至还不会Vue的入门学生读者。本章会详细讲解从环境到环境的各个步骤,再到使用脚手架快速生成项目,以及添加地图库依赖,编写简单的高德地图显示页面的。如果已有VUE项目或者熟悉VUE的读者可以不用看本章,直接添加ol依赖到VUE项目中即可。

GIS技术方向,GIS地图技术分享(GIS入门、Openlayers教程、Leaflet教程),做最好的GIS地图开发教程。关注博主公众号:eguid 5440

B.3【智能标注】:基于Labelstudio的UIE半监督深度学习的智能标注方案(云端版),提效。

Label Studio 所提供的 Machine Learning Backend 提供了一个比较灵活的辅助人工标注的框架,我们通过它确实可以加快 nlp 数据的标注Label Studio 的 enterprise 版本提供了 Active Learning 的流程,不过从其描述看这个流程并不完美,尤其是 fit 部分,由于 Label Studio 低估了「Train」所花费的时间,所以每次标注都自动训练的流程可能并不会那么顺滑(会在链接时候等待一段时间)

丨汀、的博客 1840

Docker+MinerU+Dify处理pdf等文档(已更新同步建立本地知识库内容)

本文详细介绍了在Dify平台中集成MinerU工具的完整流程。首先通过申请API Key测试MinerU官方API功能,随后重点阐述了本地化Docker部署方案,包括环境配置、镜像构建、换行符问题解决等关键技术要点。文章还提供了升级到MinerU 2.5版本的注意事项,并展示了如何将MinerU处理后的文档同步存入Dify知识库的完整流程。整个过程涵盖了从基础配置到高级应用的全套解决方案,为需要处理PDF文档的用户提供了实用参考。

AlexOasis的博客 5139

告别第三方控件!C#实现OPC UA客户端,对接工业设备超简单

C#实现OPC UA客户端无需依赖第三方商业控件,通过快速起步:通过NuGet安装,使用模拟器完成前期开发测试;复用性强:封装通用工具类,支持连接、读写、订阅等核心功能,可直接集成到各类上位机项目;界面友好:通过WinForm绑定工具类,实现可视化操作,适配工业现场人员使用;工业适配:支持安全配置、身份验证,联调步骤清晰,可快速对接西门子、欧姆龙等主流工业设备;稳定性高:具备资源释放、异常处理、线程安全UI更新等特性,满足工业7×24小时运行要求。

这里只有干货:从 Modbus 通信到 MES 对接,从 YOLO 训练到工控机部署,带你搞定工业软件开发全流程。 1365

解锁高难度PDF!MinerU部署保姆教程 + Dify联合解析《少年百科》

企业文档自动化处理中,PDF解析工具的选择至关重要。本文实测七款主流工具(包括MinerU、Doc2X等),发现MinerU在复杂排版场景表现最佳。文章对比了原生提取器与MinerU的差异,并提供了详细部署教程: Pip安装:支持本地UI界面和代码调用,可调整参数突破20页限制 Docker部署:推荐使用docker-compose方式,含GPU配置说明,同时解答了Windows环境下的路径问题 测试表明,MinerU显著提升了Dify处理复杂PDF的能力,建议用户根据实际需求测试后再部署。

sinat_29950703的博客 2840

39-Halcon-- fit_primitives_object_model_3d函数功能(从3D数据中提取几何基元)

Halcon算子fit_primitives_object_model_3d工业应用精要 该算子专为3D几何特征提取设计,支持平面、球体、圆柱等基元拟合。核心优势: 参数化输出:返回几何元素的数学参数(如平面方程、球心半径) 智能控制:通过max_dist、min_size等参数调节拟合精度 工业场景适配:针对薄壁件、孔系等提供专用优化方案 典型应用流程: 数据预处理(点云降噪/采样) 基元类型与参数设置 多阶段拟合(先平面后圆柱) 几何精度验证 误差控制在0.1%-1.2%范围内(视点云密度而定),适用于

weixin_45590420的博客 1161

Data-Structures-and-Algorithm-Analysis-in-Java.pdf

作者: Weiss, Mark A. 出版社: Addison Wesley Data Structures and Algorithm Analysis in Java is an “advanced algorithms” book that fits between traditional CS2 and Algorithms Analysis courses. In the old ACM Curriculum Guidelines, this course was known as CS7. This text is for readers who want to learn good programming and algorithm analysis skills simultaneously so that they can develop such programs with the maximum amo...

用 MinerU 打造 Dify 智能知识库:PDF 解析到应用落地

摘要: MinerU是一款将PDF转换为结构化数据(如Markdown/JSON)的工具,支持公式识别、表格解析、OCR及多语言处理。

fengjian的博客 2969

SIMATIC S7-1200, S7-1500 PID 控制[手册]

SIMATIC S7-1200, S7-1500 PID 控制[手册]

FastGPT本地化部署接入 minerU2 详细指南

如何充分发挥 FastGPT 知识库的强大功能?关键在于高质量的数据输入!在 FastGPT 社区版或商业版中,通过接入 minerU2 或 Marker 等专业的文档解析工具,即可实现pdf等图像增强解析!

2501_93874795的博客 1521

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

温度PID控制PLC程序

温度PID稳定控制程序,适用于欧姆龙PLC,对其他PLC也具有很大参考价值

dify+mineru 构建知识库

安装依赖

Python_cocola的博客 3135

MinerU2将PDF转成md文件,并分拣图片

首先自行安装python3,必须大于3.10以上的版本博主是已经有了python3,这里就不演示了。

weixin_43453621的博客 720

Mineru2.0基于华为昇腾 310 系列、910B系列本地化部署Mineru2.0开源项目

本文详细介绍了在华为昇腾NPU设备上部署Mineru项目的完整流程。首先需下载对应版本的华为镜像包,然后通过docker run命令运行容器并挂载必要的设备目录。部署过程中需注意安装指定版本的依赖库(如accelerate 0.25.0、torch-npu 2.1.0等),配置本地模型路径,并解决可能出现的依赖冲突问题。最后通过mineru-api命令启动服务,支持pipeline模式处理PDF文件解析。文章还提供了离线部署方案,可将配置好的容器打包为新镜像。测试时可通过curl发送PDF文件到指定端口进行

new_wugan的博客 4445

解决mineru2每次执行都需要下载模型,将模型下载到本地。(最新版mineru2.1.9)

摘要 本文解决了mineru工具每次转换PDF时重复下载模型的问题。通过将模型文件从默认缓存路径复制到本地目录(/data/models/PDF-Extract-Kit-1.0),并修改mineru.json配置文件和Docker环境变量(包括MINERU_MODEL_SOURCE、MODELSCOPE_CACHE等参数),使系统优先使用本地模型而非在线下载。具体步骤包括创建目标目录、复制模型文件、修改配置文件路径设置以及更新Docker容器配置。

qq_45314117的博客 2980

mineru+dify改善dify中RAG解析pdf性能和效果

上一篇文章中我们部署了mineru的API,在此基础上,默认dify也已经部署好,想要修改dify中上传知识库的pdf解析效果,联动mineru。主要是增加了mienru_parse函数简单调用了api,并将结果保存dify封装的Document类中。

m0_45070559的博客 1673

关于书生LLM的全链路开源开放体系

有兴趣的同学可以自行搜索。作为小白,通过学习书生浦语大模型,不仅让我对整个书生大模型的开源体系有了解,配套的工具链也让我对AI学习有了感性+理想的认识,因为我一直想找个相对完整的技术栈和对应工具来理解AI。书生浦语大语言模型的全链路开源开放体系是由上海人工智能实验室开发的一系列开源软件和数据集,旨在推动大模型技术的研究和应用。这个体系包括数据集、预训练模型、微调工具、部署框架、评测平台和应用开发工具等组成部分,形成了一个完整的大模型研发和应用生态。

VC_Alexa的博客 963

【新版本更新】Mineru2.5基于华为昇腾 310 系列、910B系列本地化部署Mineru2.5开源项目,性能飙升十倍??

本文档介绍了如何将Mineru升级到2.5版本并部署相关服务。新版本改用VLLM引擎提升NPU兼容性,需基于v0.10.2rc1版本的vllm-ascend镜像构建。部署步骤包括:1)拉取基础镜像;2)启动容器配置设备;3)安装Mineru核心依赖和模型;4)通过命令或Compose文件启动服务。文档提供了完整的Docker Compose配置示例,支持多设备并行和健康检查,并详细说明了GPU内存优化方案。

new_wugan的博客 4101

Dify + MinerU 企业级知识库解决方案完全指南

Dify:低代码AI应用开发平台一个开源的LLM应用开发平台,提供可视化工作流编排、提示词工程、模型管理、应用发布与监控等功能,让开发者可以像搭积木一样快速构建基于大语言模型的应用程序。MinerU:专业非结构化数据处理引擎一个开源的非结构化数据(如PDF、Word、PPT、图片)解析与处理引擎,专为RAG场景优化,能深度提取文档中的文本、表格、图片、标题结构等元素,并进行高质量的向量化处理。合体价值Dify 作为"大脑和交互界面":负责协调工作流、调用模型、提供API和Web界面。

AI技术改变世界 1146
上一篇: 斩获ACL 2025最佳主题论文奖丨Meta-rater 框架,1% 算力锁定大模型最优数据
下一篇: MinerU又双叒更新了!化学解析×多模式翻译等多种功能上线!文档解析处理爽到飞起!
OpenDataLab
博客等级 码龄4年 636粉丝 135原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值