暴雨也挡不住交流热情,MinerU 开发者线下沙龙上海站圆满收官!

【MinerU技术原理深度解析】大模型时代的文档解析革命 在AI技术快速发展的今天,大量非结构化数据的处理成为亟待解决的问题。尤其是PDF文档,作为最常见的文件格式之一,如何高效准确地提取其中的信息,成为了许多企业和研究机构的痛点。上海人工智能实验室(上海AI实验室)大模型数据基座OpenDataLab团队开源了全新的智能数据提取工具——MinerU,旨在解决这一问题。MinerU能够将混合了图片、公式、表格、脚注等复杂元素的PDF文档转化为Markdown和JSON格式,大幅提升了AI语料的准备效率。 阅读详情

5月24日,一个暴雨的午后,MinerU 官方开发者线下沙龙·上海站在徐汇区模速空间顺利举办

虽然天气并不算友好,但现场依然迎来了许多开发者、科研 AI 实践者、社区用户与开源关注者。大家围绕科学数据、文档智能、数据质量评测、MinerU 开源生态等话题展开深入交流,共度了一个信息密度很高、讨论氛围很热烈的下午。

本次沙龙以“科学数据赋能 AGI4S”为主题,旨在通过线下交流的方式,让社区用户更近距离了解 MinerU 的项目进展、技术探索与生态动作,也让 MinerU 团队听到更多来自真实使用场景的一线反馈。

一起来回顾精彩瞬间!

图片


一、Sciverse:面向 AGI4S 的科学数据基座

活动开场,上海人工智能实验室大数据中心商富凯带来了《Sciverse:面向 AGI4S 的科学数据基座》主题分享。

分享从 AI 发展阶段切入:从对话式 AI,到 Agentic AI,再到面向科学发现的 AI for Science,科学数据正在成为支撑新一代智能系统的关键基础设施。针对科研发展中长期存在的数据封闭、暗数据流失、科学数据复杂、基础设施错配等问题,MinerU 团队最新推出的 Sciverse 科学智能数据库尝试构建一个面向科学大模型与 AI Agent 的数据底座。

在现场分享中,商富凯重点介绍了 Sciverse 的三层数据体系:面向科学通识的 Sci-Base、面向跨模态对齐的 Sci-Align,以及面向科学演化推理的 Sci-Evo。依托 MinerU 的高精度文档解析能力,Sciverse 能够将文献中的正文、公式、表格、图像等内容转化为更适合 Agent 调用的结构化数据,并通过 API 支持检索、片段读取和后续分析。

图片

从海量文献检索,到材料、化学、生物医药等垂直领域数据构建,再到面向 Agent 的科研数据调用方式,Sciverse 展示了从“科学文献”走向“AI-Ready 科学数据”的完整路径。目前 Sciverse 已经对外开放使用,用户可以通过 API 、Skills等多种方式,获取2600万+公开(OA)科学论文、文献元数据、全文,构筑可用、可追溯以及被模型和 Agent 调用的能力。欢迎使用:https://sciverse.space

图片


二、MinerU:构筑大模型时代的文档数据基石

随后,上海人工智能实验室 MinerU 核心成员赵致远带来了《MinerU:构筑大模型时代的文档数据基石》的主题演讲。

赵致远首先回顾了文档解析的发展脉络:从传统 OCR,到大模型时代重新认识文档价值,再到 RAG、知识库、Agent 等应用对高质量解析能力提出更高要求。

在 MinerU 的技术演进部分,分享重点介绍了从早期 Pipeline 方法,到 MinerU2.5 解耦式多模态大模型,再到 MinerU2.5-Pro 数据驱动新范式的迭代过程。针对布局检测、公式识别、表格解析、阅读顺序等关键问题,MinerU 持续在算法、数据工程和评测体系上推进优化。

其中,MinerU2.5 通过“低分辨率全局布局分析 + 原生分辨率局部内容识别”的二阶段架构,提高了复杂文档解析的效率与精度;MinerU2.5-Pro 则在模型架构不变的基础上,通过更系统的数据工程和困难样本训练,实现了性能进一步提升。

赵致远也介绍了 MinerU 当前的开源生态进展:项目已获得 6 万以上 GitHub Stars,模型下载量、在线解析服务和社区使用规模持续增长,并已在科研、金融、企业知识库等场景中被广泛关注和应用。同时也预告了跨页表格、跨页段落、多层级标题、图文关联后处理模型 MinerU-Popo。(MinerU-Popo目前已发布,点击了解:MinerU-Popo来了:让文档解析从“看懂每页”走向“读懂整篇”)

图片

三、数据质量评测:让科学数据真正可用、可信

中场休息后,上海人工智能实验室 MinerU 项目评测储培带来了《面向 AGI4S 的多维度数据质量评测体系》主题分享。

在科学数据和文档智能应用中,“能解析”只是第一步。更关键的是:解析结果是否准确、完整、稳定?检索结果是否真正相关?最终交付给模型和 Agent 的数据是否可信?

围绕这些问题,储培介绍了面向 AGI4S 的多维度数据质量评测框架,核心包括两部分:内容质量评测与检索质量评测。

在内容质量方面,分享重点介绍了 OmniDocBench。作为面向真实场景的多样性文档解析评测集,OmniDocBench 覆盖多种文档类型、多种语言和复杂版式,从文本、公式、表格、阅读顺序等维度衡量解析质量。最新评测中,MinerU2.5-Pro 在多个关键指标上表现突出。

在检索质量方面,分享介绍了 LitSearch 和 Dingo 等评测工具。LitSearch 面向真实学术文献检索场景,关注复杂科研查询下的召回、排序和深层检索能力;Dingo 则用于数据、模型和应用质量评估,支持从离线基准到在线监控的质量闭环。

让现场观众更清楚地了解到:要让文档智能真正服务科研和 Agent 应用,不仅需要强大的解析能力,也需要持续、系统、可度量的质量评测体系。

图片

四、交流不断,问题被带到现场

除了三场主题分享,本次沙龙的现场交流同样热烈。

在自由讨论环节,参会者围绕 MinerU 的使用体验、复杂文档解析、科研场景适配、知识库构建、Agent 调用、API 能力、后续开源计划等方向提出了许多具体问题。也有开发者结合自己的项目场景,和 MinerU 团队进行了更深入的交流。

这些问题有的来自科研文献处理,有的来自企业知识库建设,有的来自正在探索中的数据智能应用。正是这些真实、具体、带着场景的问题,让线下交流变得格外有价值。

图片

图片

图片

图片

图片


五、继续和社区一起向前

这次上海站,是 MinerU 官方社区走到线下的一次重要尝试。

我们希望通过这样的交流,让大家更了解 MinerU 的项目进展、团队探索与生态规划;也希望通过面对面的沟通,听到更多来自用户、开发者和科研 AI 实践者的真实声音。

感谢每一位冒雨来到现场的朋友。也特别感谢大家在现场提出的建议、反馈和问题。MinerU 会继续围绕文档智能、科学数据、开源生态和真实应用场景持续建设。

*本次活动特别鸣谢战略合作伙伴浦发银行

MinerU教程第二弹丨MinerU 本地部署保姆级“喂饭”教程 本文为MinerU的本地部署指南,MinerU是一款由上海人工智能实验室OpenDataLab团队开发的开源PDF转Markdown工具,适用于RAG、LLM语料准备等场景。文章详细介绍了MinerU的功能特性,包括文档处理、格式转换和运行环境支持。接着,提供了系统要求和基础环境配置的说明,并逐步指导用户完成Conda环境的创建、模型文件的下载以及GPU加速的配置。此外,文章还涵盖了功能测试、批量PDF转换、本地API服务的搭建和卸载MinerU的步骤。对于不熟悉代码或硬件条件有限的用户,推荐使用官方提供的 阅读详情

相关推荐

私有化部署MinerU 与应用实践

MinerU是一款强大的开源pdf、word、ppt数据提取工具,本文介绍私有化环境中部署MinerU和应用的实践。

weixin_46423102的博客 3679

MinerU、Magic-PDF、Magic-Doc

一、关于 MinerU 二、Magic-PDF 1、简介 2、项目全景 3、流程图 4、子模块仓库 三、Magic-PDF 上手指南 1、配置要求 2、安装配置 1. 安装Magic-PDF 2. 下载模型权重文件 3. 拷贝配置文件并进行配置 4. 使用CUDA或MPS加速推理 CUDA MPS 3、使用说明 1) 通过命令行使用 直接使用 更多用法 2) 通过接口调用 本地使用 在对象存储上使用 4、常见问题处理解答 四、Magic-Doc 1、简介 2、安装 3、使用示例 4、性能

AI工程化、开源分享、文档翻译、代码笔记 6万+

MinerU 入门指南:小白也能玩转的高精度PDF解析神器

MinerU是一款专为科技文献设计的智能PDF解析工具,能够将复杂PDF文档转换为Markdown、JSON等结构化格式。相比传统工具,它具有多项创新优势:智能布局识别、阅读顺序还原、结构化保留、多媒体提取、公式LaTeX转换、表格HTML输出等核心功能。项目采用多后端架构设计(pipeline/VLM/加速引擎),支持智能批处理和动态内存优化,显著提升处理效率。MinerU特别适合处理学术论文、技术报告等专业文档,为大模型训练提供高质量的结构化数据源,解决了科技文献解析中的关键难题。

翊歌 1427

MinerU-pdf识别-本地部署

项目介绍:这是一款支持PDF、网页、电子书提取的一站式、开源、高质量数据提取工具。

人工智能(AI)技术,大模型技术,深度学习,机器学习,计算机视觉,AI工具实践应用等分享 1万+

GEE开发之ERA5(气温、降水、压力、风速等)数据获取和分析

前言:ERA5主要提供DAILY和MONTHLY两大类别数据,其中主要包括气温、降水、压力、风速等。

等待着冬天的风的博客 3万+

Ubuntu20.04复现instant-ngp,自建数据集,导出mesh

本次仅仅记录一下自己复现instant-ngp的过程,如果里面的参考有冒犯到原博主请联系我删除,本人也是nerf的小白一枚,可以一起交流学习神经辐射场,希望大家在复现instant-ngp的时候少走一些坑,情况允许下可以去复现一下npg-pl和nerfStudio,最后希望大家一起进步。看到一些博主说葵司的npg_pl也不错,而且葵司是台湾人,在youtube上也有讲解的视频。渲染的效果还是可以的,相对于源码来说还是有点模糊,我一些参数也没有设置,直接就拉进来进行渲染,速度是非常快的。

weixin_59961223的博客 9452

MinerU 1.3.12 正式版 离线环境整合一键包 使用教程(无需安装部署, 解压即用)

最近发现了一款工具大语言语料处理神器-MinerU, 非常适合在RAG等应用场景中使用, 开源免费MinerU其中的一个功能是将 PDF 转化为 markdown 格式的工具, 对PDF文档提取的效果目前是市面上效果比较好的, 最新的版本还支持了PDF中表格的识别MinerU 官方仓库: https://github.com/opendatalab/MinerU装环境相对麻烦, 为此我制作了环境一键包, 下面就介绍下环境一键包的使用。

后端开发/摄影师/运营 2万+

WSL2 + Open3D点云可视化踩坑全记录:从GLFW报错到VcXsrv配置,一篇讲清所有‘坑’

本文详细解析了在WSL2环境中使用Open3D进行点云可视化时遇到的常见问题,特别是GLFW报错和VcXsrv配置问题。通过系统性的解决方案和高级配置技巧,帮助开发者彻底解决图形显示、驱动加载和库版本冲突等难题,实现高效的点云可视化。

weixin_30627341的博客 101

【大模型:知识库管理】--MinerU本地部署

摘要: MinerU是由上海人工智能实验室OpenDataLab团队开发的开源智能数据提取工具,专注于解析复杂PDF文档(含图片、公式、表格等),将其转换为结构化Markdown格式。其核心功能包括多模态内容处理、公式LaTeX转换、干扰元素去除及乱码修复,支持CPU/GPU和跨平台运行。部署需Python 3.10~3.13环境,可通过conda或Docker安装,提供本地及云模型源(HuggingFace/ModelScope)选择。工具链整合了LayoutLMv3、YOLOv8等模型,适用于学术、法律

我是个好人呀,O(∩_∩)O 1万+

FPGA实现高效数字下变频:CORDIC与CIC滤波器的Verilog优化设计

本文深入探讨了FPGA实现高效数字下变频的技术方案,重点介绍了CORDIC算法与CIC滤波器的Verilog优化设计。通过详细的算法原理分析、FPGA实现技巧和实战经验分享,展示了如何利用CORDIC的旋转运算替代乘法操作,以及CIC滤波器在降采样中的高效性能。文章还提供了完整的系统集成方案和资源优化策略,为无线通信和雷达信号处理领域的工程师提供了实用参考。

redis7keeper的博客 724

vLLM 多机多卡推理测试与验证(Kubernetes)vLLM 多机多卡推理 Kubernetes 验证

本文记录在两台 L20 机器,每台机器 4 块 L20 显卡(46G)的环境下,使用 vLLM 部署 Qwen2.5-32B-Instruct-GPTQ-Int4 模型并提供多节点多卡推理服务的过程。服务(Serving)模型服务是指将模型部署到生产环境中,通过 API 或其他接口提供预测服务的过程。【分布式推理与服务】(Distributed Inference and Serving)是指在多个机器或设备之间部署和管理机器学习模型,以高效地处理推理请求并满足大规模服务需求。3、启动 vLLM 服务。

流水_鱼鱼的博客 3459

最新开源的解析效果非常好的PDF解析工具MinerU (pdf2md pdf2json)

毫不夸张的说PDF解析工具MinerU是照进RAG黑暗中的一道光——这是我对它的评价。我测过太多了文档解析工具! 最近在做文档解析的工作。看了很多的开源的文档解析的工具,版面分析的工具,其中包括paddelpaddel这样30k+star的明星工具。但是效果都觉得不好。 MinerU是一个最近开源的文档解析工具,可以把PDF转成json结构,还可以转成md格式。可以解析得到其中的图片,表格,可以得到段落,可以得到标题,这是很哇塞的事情。因为最近RAG特别火热,这些都是RAG非常需要的。

Angus 3万+

5分钟搞定!用ZLMediaKit+GB28181搭建低成本外网视频监控(含避坑指南)

本文详细介绍了如何利用开源ZLMediaKit流媒体服务器与国标GB28181协议,快速搭建低成本、可外网访问的企业级视频监控系统。文章提供了从服务端部署、设备配置到外网访问优化的完整实战指南,并重点分享了网络配置、性能调优及常见问题的避坑方案,帮助用户实现高清视频流的稳定推送与多格式播放。

bush的博客 333

MinerU本地化部署教程——一款AI知识库建站的必备工具

MinerU本地化部署教程——一款AI知识库建站的必备工具

寒冰屋的专栏 3266

什么是 SAP Fiori 的 Technical Catalog

笔者之前的文章曾经提到一个叫做本文介绍 Technical Catalog 这个概念在 SAP Fiori 技术体系中的作用。首先我们如何在系统里查看这个 Catalog SAP_BASIS_TCR_T 里面包含的内容呢?如果大家照着本文开头那篇文章里提到的步骤,那么在自己系统里会创建好名叫的 PFCG role.我们登录 ABAP 系统,启动事务码 PFCG,打开这个 role, 就能看到它。展开之后,发现它扮演着一个容器的角色,里面包含了很多 ABAP 对象。

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 744

【深度学习】Progressive Distillation for Fast Sampling of Diffusion Models

这种方法通过迭代地将一个需要较多步骤的模型(称为教师模型)蒸馏成一个需要较少步骤的学生模型,每次迭代都将采样步骤减半,直到达到所需的采样步骤数量。通过渐进式蒸馏,论文将原始需要8192步采样的模型成功蒸馏为只需4步采样就能取得接近的生成质量的新模型,大幅提高了扩散模型的推理效率。这篇论文提出了一种"渐进式蒸馏"(Progressive Distillation)的方法,来大幅降低用于生成对抗网络(GAN)的扩散模型(Diffusion Model)在推理阶段的采样步数,从而提高其推理效率。

q742971636的博客 1788

开源神器MinerU:一键提取PDF、网页、电子书的宝藏工具

MinerU是由opendatalab开发的一站式开源数据提取工具,它包括两个主要组件:Magic-PDF和Magic-Doc。Magic-PDF专注于PDF文档的提取,而Magic-Doc则能够处理网页和电子书。

XPlaza的博客 4437

NTscan扫描工具

ntscan是一个扫描器,可以扫描没有密码和弱密码的共享,先到配置文件中填写猜测的用户名和密码,扫描过程中右侧出现的是扫描日志。

MinerU v2.0:VLM模型捅破解析效果天花板!

之前写 Dolphin 的分析文章时,我对 VLM 进行文档解析的路线始终不抱希望,因为之前的规律表明:只有模型参数足够大,才能获得好效果,小参数模型一致难以企及大参数模型的性能。MinerU 0.9B 的 VLM 模型让人眼前一亮,一个模型同时解决了布局分析、公式识别、文本OCR等各种任务,而且效果不错。本文中的实验结果表明,每块部分都由小模型去做,虽然能应对大多数场景,但对于部分复杂场景,它的瓶颈也暴露无疑,很难再通过数据训练去突破。

兴趣使然的创作者 9441

Probability and Statistics - 4th edition

Probability and Statistics - 4th edition

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

MinerU PDF 文档提取 Demo (PDF解析)

Magic-PDF 是一款将 PDF 转化为 markdown 格式的工具。支持转换本地文档或者位于支持S3协议对象存储上的文件。主要功能包含支持多种前端模型输入删除页眉、页脚、脚注、页码等元素符合人类阅读顺序的排版格式保留原文档的结构和格式,包括标题、段落、列表等提取图像和表格并在markdown中展示将公式转换成latex乱码PDF自动识别并转换支持cpu和gpu环境支持windows/linux/mac平台。

shizidushu的博客 4828

efm32 入门.pdf

本PDF共计22页,介绍的是操作驱动API,下载与否自己斟酌。

登顶GitHub Trending,开源工具MinerU助力复杂PDF高效解析提取

在7月4日举行的WAIC 2024科学前沿主论坛上,书生·浦语2.5正式发布,面向大模型研发与应用的全链条工具体系同时迎来升级。在数据处理环节,上海人工智能实验室(上海AI实验室)大模型数据基座OpenDataLab团队开源了全新的智能数据提取工具——MinerU。

ShushengPuyu的博客 5248

Mineru 部署指南

创建一个 conda 环境 并 激活在虚拟环境中安装 MinerU 的环境配置,这部分下载的环境是 cpu 版本,如下载成功后进行下一步。

qq_56694194的博客 1218

RAG项目必备!文档解析神器MinerU:2.5万星标!支持GPU加速,轻松应对复杂文档

MinerU能够轻松应对各种PDF文档需求,包括考题、PPT、论文、教科书、图书、杂志、笔记、新闻、研报等,并支持其他类型的文档转换为PDF后提取,如图片、PPT和Word文档。精准识别版面元素,删除页眉/页脚/脚注,同时保留正文内容。

star_nwe的博客 3514

WAIC上官宣!大模型语料提取工具MinerU正式发布,开源免费“敲”好用

7月4日,2024 WAIC科学前沿全体会议在上海世博中心红厅隆重举行。上海人工智能实验室与商汤科技联合香港中文大学和复旦大学正式发布新一代大语言模型书⽣·浦语2.5(InternLM2.5),同时全链条工具体系迎来重磅升级,对于,不仅能将混合了图片、表格、公式等在内的复杂多模态 PDF 文档精准转化为清晰、易于分析的 Markdown 格式,还能从包含广告等各种干扰信息的网页中快速解析、抽取正式内容,极大提高AI语料准备效率。快来一起看看!

OpenDataLab的博客 6116

Docker 部署 MinerU 教程:打造你的本地 PDF 智能处理中心

MinerU是一款专注于PDF转Markdown/JSON的工具,特别擅长处理科技文献。本文详细介绍了Docker部署MinerU的方法,包括环境准备、镜像构建、三种部署方案(快速测试/目录挂载/docker-compose)以及常见问题排查。Docker部署能解决依赖冲突、GPU配置等问题,提供开箱即用的体验。MinerU支持智能净化、多元素提取、84种语言OCR等功能,是科研人员处理文献的高效工具。部署完成后可通过WebUI(7860端口)或API(3000端口)使用,推荐生产环境采用目录挂载方式实现文

java_logo的专栏 3169

视频隐私脱敏工程化:CSRT/KCF追踪算法在本地推理中的实现与边界

在短视频内容合规审查中,动态遮挡(Dynamic Masking)是高频且高耗时的环节。传统手动关键帧打码不仅效率低下,且在目标快速移动或遮挡时极易出现遮罩漂移。本文从计算机视觉工程角度,解析基于CSRT与KCF算法的目标追踪方案在视频隐私处理中的技术路径、性能权衡及落地实践。

Mysssone的博客 314
上一篇: MinerU-Popo来了:让文档解析从“看懂每页”走向“读懂整篇”
下一篇: MinerU 团队新产品 | Sciverse 科学数据基座,把可信的科学知识接入你的 AI 工作流
OpenDataLab
博客等级 码龄4年 636粉丝 135原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值