官宣!MinerU 正式接入和鲸 ModelWhale,加速科研进程!

【MinerU技术原理深度解析】大模型时代的文档解析革命 在AI技术快速发展的今天,大量非结构化数据的处理成为亟待解决的问题。尤其是PDF文档,作为最常见的文件格式之一,如何高效准确地提取其中的信息,成为了许多企业和研究机构的痛点。上海人工智能实验室(上海AI实验室)大模型数据基座OpenDataLab团队开源了全新的智能数据提取工具——MinerU,旨在解决这一问题。MinerU能够将混合了图片、公式、表格、脚注等复杂元素的PDF文档转化为Markdown和JSON格式,大幅提升了AI语料的准备效率。 阅读详情

近日,大模型文档语料生产引擎 MinerU 与 和鲸 ModelWhale 大模型应用平台达成深度合作,双方联合升级的功能在 ModelWhale 平台全新升级发布会上正式亮相!此次合作将 MinerU 强大的文档解析能力深度集成至 ModelWhale 智能工具中,为科研工作提供坚实数据支持。

如何在 ModelWhale 中启用 MinerU

用户在 ModelWhale 创建新试用组织后,即可通过平台侧边栏,在 Notebook 项目和应用编排中快速下载并运行 MinerU 项目,操作路径清晰便捷,充分覆盖日常使用及业务高峰场景。

  • 领先解析,奠定数据基石: 当您需要处理科研文献、报告等 PDF、Word 文档时,可直接在 ModelWhale 平台便捷上传。依托 MinerU 行业领先的解析能力,平台将快速输出高精度的文本、表格等结构化数据,为后续深入分析提供坚实可靠的数据基础。
  • 知识库核心能力升级: ModelWhale 平台的 RAG 知识库在解析 PDF 和 Word 文档的关键环节,现已全面升级,由 MinerU 提供底层技术支持。用户在知识库上传文档时,后台将自动调用 MinerU 成熟高效的解析流程,显著提升知识入库的准确性、效率与可靠性,为构建高质量知识中枢提供强大引擎。

图片

平台侧边栏快速访问与使用

图片

任务详情页

此次 MinerU 与 ModelWhale 的官方合作,旨在让更多数据爱好者与应用团队批量、快速、准确地解析 AI 语料.让每一份科研精力都聚焦于真正的创新突破。

欢迎您立即体验MinerU 与 ModelWhale 联合打造的科研数据处理新方案!

ModelWhale 平台深度融合了计算基础设施、模型开发环境与团队协同管理,打通了数据、算力、模型、成果应用的全流程,旨在为数据驱动型组织提供一站式数据分析与 AI 开发服务,并支持领域大模型的构建与应用落地。MinerU 将与 ModelWhale 一道,共同为广大科研工作者提供卓越的数据服务。

MinerU教程第二弹丨MinerU 本地部署保姆级“喂饭”教程 本文为MinerU的本地部署指南,MinerU是一款由上海人工智能实验室OpenDataLab团队开发的开源PDF转Markdown工具,适用于RAG、LLM语料准备等场景。文章详细介绍了MinerU的功能特性,包括文档处理、格式转换和运行环境支持。接着,提供了系统要求和基础环境配置的说明,并逐步指导用户完成Conda环境的创建、模型文件的下载以及GPU加速的配置。此外,文章还涵盖了功能测试、批量PDF转换、本地API服务的搭建和卸载MinerU的步骤。对于不熟悉代码或硬件条件有限的用户,推荐使用官方提供的 阅读详情

相关推荐

私有化部署MinerU 与应用实践

MinerU是一款强大的开源pdf、word、ppt数据提取工具,本文介绍私有化环境中部署MinerU和应用的实践。

weixin_46423102的博客 3678

MinerU、Magic-PDF、Magic-Doc

一、关于 MinerU 二、Magic-PDF 1、简介 2、项目全景 3、流程图 4、子模块仓库 三、Magic-PDF 上手指南 1、配置要求 2、安装配置 1. 安装Magic-PDF 2. 下载模型权重文件 3. 拷贝配置文件并进行配置 4. 使用CUDA或MPS加速推理 CUDA MPS 3、使用说明 1) 通过命令行使用 直接使用 更多用法 2) 通过接口调用 本地使用 在对象存储上使用 4、常见问题处理解答 四、Magic-Doc 1、简介 2、安装 3、使用示例 4、性能

AI工程化、开源分享、文档翻译、代码笔记 6万+

MinerU 入门指南:小白也能玩转的高精度PDF解析神器

MinerU是一款专为科技文献设计的智能PDF解析工具,能够将复杂PDF文档转换为Markdown、JSON等结构化格式。相比传统工具,它具有多项创新优势:智能布局识别、阅读顺序还原、结构化保留、多媒体提取、公式LaTeX转换、表格HTML输出等核心功能。项目采用多后端架构设计(pipeline/VLM/加速引擎),支持智能批处理和动态内存优化,显著提升处理效率。MinerU特别适合处理学术论文、技术报告等专业文档,为大模型训练提供高质量的结构化数据源,解决了科技文献解析中的关键难题。

翊歌 1426

MinerU-pdf识别-本地部署

项目介绍:这是一款支持PDF、网页、电子书提取的一站式、开源、高质量数据提取工具。

人工智能(AI)技术,大模型技术,深度学习,机器学习,计算机视觉,AI工具实践应用等分享 1万+

大模型推理中Prefill与Decode、KV Cache三者说明

Prefill 阶段对输入 Prompt 并行编码,一次性构建KV Cache,属于计算密集型任务。Decode 阶段逐 token 迭代生成,复用KV Cache避免重复计算,属于显存带宽密集型任务。KV Cache是自回归推理的核心基石,用显存换时间,实现两阶段衔接与高效生成。PD 分离通过任务解耦、异构硬件、异步调度、独立批处理,解决传统一体化推理的资源冲突与利用率低下问题,是当前云端大模型推理服务的主流工程优化方向。

a486259的博客 1489

NOAA气象数据下载攻略

各方搜寻气象数据下载途径,发现网上最多的就是从NOAA下载,但是中途有尝试过很多次都没有下载到,每次都是显示不可用,今天终于下载成功了,特此记录。 首先我是从这个网址进入的:National Centers for Environmental Information (NCEI) formerly known as National Climatic Data Center (NCDC) | NCEI offers access to the most significant archives of oc

lianqian66的博客 3万+

官宣!MinerU 正式接入和鲸 ModelWhale,加速您的科研进程!

和鲸科技旗下的数据科学协同平台 ModelWhale 基于 ModelOps 理念,深度融合计算基础设施、模型开发环境与团队协同管理,打通数据、算力、模型、成果应用全流程,为数据驱动型组织提供一站式数据分析与 AI 开发服务,推动领域大模型的构建与应用落地。同时,针对 RAG 工作流,设计了完善的全流程功能支持,包括知识片段导入、增删改查管理,新文件自动按需求分段清洗等,既方便团队成员使用,也便于对接智能体进行解读。唯有掌握与大模型/智能体的高效协同,方能解锁科研创新的巨大潜能,释放人类创造力。

ModelWhale的博客 599

实战避坑:示波器测量非隔离开关电源的炸机风险与隔离方案

本文详细分析了使用示波器测量非隔离开关电源时的炸机风险,揭示了地线环路导致的短路问题,并对比了四种防炸机解决方案,包括示波器隔离供电、拔掉电源地线、使用差分探头和被测板隔离供电。重点推荐使用隔离变压器方案,确保测量安全与精度,同时提供了实操建议与经验分享,帮助工程师避免常见测量事故。

weixin_29224309的博客 557

MinerU 1.3.12 正式版 离线环境整合一键包 使用教程(无需安装部署, 解压即用)

最近发现了一款工具大语言语料处理神器-MinerU, 非常适合在RAG等应用场景中使用, 开源免费MinerU其中的一个功能是将 PDF 转化为 markdown 格式的工具, 对PDF文档提取的效果目前是市面上效果比较好的, 最新的版本还支持了PDF中表格的识别MinerU 官方仓库: https://github.com/opendatalab/MinerU装环境相对麻烦, 为此我制作了环境一键包, 下面就介绍下环境一键包的使用。

后端开发/摄影师/运营 2万+

马尔可夫网络和贝叶斯网络的一些总结

马尔可夫网络和贝叶斯网络的一些总结 最近学习了一些关于概率逻辑的知识图谱推理方法,主要就是贝叶斯网络和马尔可夫网络,在此总结一下,内容都来自网络资料,这里加入了一下个人的理解,尽量为大家避雷! 这篇文章是我目前在网络上找到的关于贝叶斯网络最清晰的介绍,大家有兴趣可以去看看 贝叶斯网络中比较重要的两部分就是贝叶斯网络的结构和条件概率表。 贝叶斯网络的结构 下面通过一个例子来介绍: 贝叶斯网的网络结...

qq_43654303的博客 4374

【YOLOv8改进[Conv]】使用OREPA助力V8更优秀

使用OREPA助力V8更优秀,降低训练成本,在不引入任何推理时间成本的情况下提高深度模型的性能。

静谧、淡雅 1918

【大模型:知识库管理】--MinerU本地部署

摘要: MinerU是由上海人工智能实验室OpenDataLab团队开发的开源智能数据提取工具,专注于解析复杂PDF文档(含图片、公式、表格等),将其转换为结构化Markdown格式。其核心功能包括多模态内容处理、公式LaTeX转换、干扰元素去除及乱码修复,支持CPU/GPU和跨平台运行。部署需Python 3.10~3.13环境,可通过conda或Docker安装,提供本地及云模型源(HuggingFace/ModelScope)选择。工具链整合了LayoutLMv3、YOLOv8等模型,适用于学术、法律

我是个好人呀,O(∩_∩)O 1万+

单光子雪崩二极管(SPAD):原理、极高增益机制与微光探测解析

本文系统阐述了单光子雪崩二极管(SPAD)的工作原理及其在弱光探测中的应用。SPAD通过工作在盖革模式下的碰撞离化效应实现单光子探测,其核心机理包括:1)采用p+-n-n+结构实现高电场分布;2)通过雪崩倍增过程获得10^6量级增益;3)采用主动/被动淬灭机制实现快速恢复。文章详细分析了SPAD的关键性能参数(如光子探测效率、暗计数率等)及其在量子通信、激光雷达等领域的应用优势,揭示了该器件在极微弱光信号探测中的独特价值。

Fun_LiDAR的博客 1043

最新开源的解析效果非常好的PDF解析工具MinerU (pdf2md pdf2json)

毫不夸张的说PDF解析工具MinerU是照进RAG黑暗中的一道光——这是我对它的评价。我测过太多了文档解析工具! 最近在做文档解析的工作。看了很多的开源的文档解析的工具,版面分析的工具,其中包括paddelpaddel这样30k+star的明星工具。但是效果都觉得不好。 MinerU是一个最近开源的文档解析工具,可以把PDF转成json结构,还可以转成md格式。可以解析得到其中的图片,表格,可以得到段落,可以得到标题,这是很哇塞的事情。因为最近RAG特别火热,这些都是RAG非常需要的。

Angus 3万+

SAP Joule Studio 全景解析

摘要:SAP Joule Studio是SAP Build平台中的低代码/专业级复合工作台,用于构建和管理企业专属的Joule智能体与技能。它支持通过拖拽和声明式编排实现跨系统任务自动化,与SAP及第三方系统集成。核心构件包括Agent(智能体)、Skill(技能)、Action(动作)和Project(项目)。Joule Studio强调企业级落地,与SAP Build Process Automation等工具协同,实现从设计到运行的全生命周期管理。典型应用场景包括供应链补货、财务关账和人力服务台自动化

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 393

【C#程序员入门AI】向量数据库入门:C#集成Chroma/Pinecone,实现AI知识库检索(RAG基础)

向量存语义,检索补知识!向量数据库:解决AI知识库存储和语义检索问题,让AI有据可查C#集成:Chroma轻量本地练手,Pinecone企业云端落地,一套逻辑无缝切换RAG闭环:检索+大模型,让AI回答精准不瞎编,是AI落地的必经之路咱C#程序员有.NET生态加持,集成向量数据库比Python更简洁、更稳定,不管是个人做智能助手,还是企业做知识库,这套技术栈都能直接落地,2026年必学技能!

人工智能AI技术 1002

MinerU本地化部署教程——一款AI知识库建站的必备工具

MinerU本地化部署教程——一款AI知识库建站的必备工具

寒冰屋的专栏 3266

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

开源神器MinerU:一键提取PDF、网页、电子书的宝藏工具

MinerU是由opendatalab开发的一站式开源数据提取工具,它包括两个主要组件:Magic-PDF和Magic-Doc。Magic-PDF专注于PDF文档的提取,而Magic-Doc则能够处理网页和电子书。

XPlaza的博客 4436

锂电池充电器电路设计 里面有电路

锂电池充电器电路设计 里面有电路 3.7V升压到5V电路设计。

efm32 入门.pdf

本PDF共计22页,介绍的是操作驱动API,下载与否自己斟酌。

MinerU v2.0:VLM模型捅破解析效果天花板!

之前写 Dolphin 的分析文章时,我对 VLM 进行文档解析的路线始终不抱希望,因为之前的规律表明:只有模型参数足够大,才能获得好效果,小参数模型一致难以企及大参数模型的性能。MinerU 0.9B 的 VLM 模型让人眼前一亮,一个模型同时解决了布局分析、公式识别、文本OCR等各种任务,而且效果不错。本文中的实验结果表明,每块部分都由小模型去做,虽然能应对大多数场景,但对于部分复杂场景,它的瓶颈也暴露无疑,很难再通过数据训练去突破。

兴趣使然的创作者 9432

MinerU PDF 文档提取 Demo (PDF解析)

Magic-PDF 是一款将 PDF 转化为 markdown 格式的工具。支持转换本地文档或者位于支持S3协议对象存储上的文件。主要功能包含支持多种前端模型输入删除页眉、页脚、脚注、页码等元素符合人类阅读顺序的排版格式保留原文档的结构和格式,包括标题、段落、列表等提取图像和表格并在markdown中展示将公式转换成latex乱码PDF自动识别并转换支持cpu和gpu环境支持windows/linux/mac平台。

shizidushu的博客 4827

登顶GitHub Trending,开源工具MinerU助力复杂PDF高效解析提取

在7月4日举行的WAIC 2024科学前沿主论坛上,书生·浦语2.5正式发布,面向大模型研发与应用的全链条工具体系同时迎来升级。在数据处理环节,上海人工智能实验室(上海AI实验室)大模型数据基座OpenDataLab团队开源了全新的智能数据提取工具——MinerU。

ShushengPuyu的博客 5247

Mineru 部署指南

创建一个 conda 环境 并 激活在虚拟环境中安装 MinerU 的环境配置,这部分下载的环境是 cpu 版本,如下载成功后进行下一步。

qq_56694194的博客 1218

RAG项目必备!文档解析神器MinerU:2.5万星标!支持GPU加速,轻松应对复杂文档

MinerU能够轻松应对各种PDF文档需求,包括考题、PPT、论文、教科书、图书、杂志、笔记、新闻、研报等,并支持其他类型的文档转换为PDF后提取,如图片、PPT和Word文档。精准识别版面元素,删除页眉/页脚/脚注,同时保留正文内容。

star_nwe的博客 3513

WAIC上官宣!大模型语料提取工具MinerU正式发布,开源免费“敲”好用

7月4日,2024 WAIC科学前沿全体会议在上海世博中心红厅隆重举行。上海人工智能实验室与商汤科技联合香港中文大学和复旦大学正式发布新一代大语言模型书⽣·浦语2.5(InternLM2.5),同时全链条工具体系迎来重磅升级,对于,不仅能将混合了图片、表格、公式等在内的复杂多模态 PDF 文档精准转化为清晰、易于分析的 Markdown 格式,还能从包含广告等各种干扰信息的网页中快速解析、抽取正式内容,极大提高AI语料准备效率。快来一起看看!

OpenDataLab的博客 6112

Docker 部署 MinerU 教程:打造你的本地 PDF 智能处理中心

MinerU是一款专注于PDF转Markdown/JSON的工具,特别擅长处理科技文献。本文详细介绍了Docker部署MinerU的方法,包括环境准备、镜像构建、三种部署方案(快速测试/目录挂载/docker-compose)以及常见问题排查。Docker部署能解决依赖冲突、GPU配置等问题,提供开箱即用的体验。MinerU支持智能净化、多元素提取、84种语言OCR等功能,是科研人员处理文献的高效工具。部署完成后可通过WebUI(7860端口)或API(3000端口)使用,推荐生产环境采用目录挂载方式实现文

java_logo的专栏 3169
上一篇: AI“压力面”,DeepSeek性能暴跌近30% | 上海AI Lab&清华&人大
下一篇: 斩获ACL 2025最佳主题论文奖丨Meta-rater 框架,1% 算力锁定大模型最优数据
OpenDataLab
博客等级 码龄4年 636粉丝 135原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值