MinerU再次更新,网页解析功能上线!URL一键变Markdown,文档处理再无边界

MinerU:面向Agent与RAG的智能文档解析平台 文档解析是知识管理和信息提取的基础技术,通过将非结构化文档转换为机器可读格式,为下游应用提供结构化数据支持。其核心原理结合计算机视觉与自然语言处理技术,实现对PDF、Word等多格式文档的层级结构还原。在RAG(检索增强生成)系统中,高质量的文档解析能显著提升知识库构建效率和检索准确率。MinerU作为专为Agent工作流设计的解析平台,通过多模态处理能力和结构化输出,特别适合处理学术论文、技术文档等复杂场景,为AI应用提供可靠的数据预处理方案。 阅读详情

导言:

各位 MinerU 的铁粉们,你们的“生产力神兵”又进化了!还在为DeepResearch获取网页信息、网页知识库构建、复杂网页内容提取、网页文章复制乱码等场景感到头疼吗?

在 AI 数据处理领域,以 Jina AI 和 Firecrawl 为代表的行业先行者已经为我们展示了“网页转 LLM 友好格式”的巨大潜力,但 MinerU 决定再往前走一步。 这次我们直接把深度优化的“网页解析”功能装进了 MinerU 网页端与桌面端,凭借在公式、表格识别上的深厚积淀,让整个互联网都成为你的 AI-Ready 语料库!

今天,我们边上手边拆解,带你玩转MinerU 的“网页解析”功能

● 在线体验(直接进入网页解析功能):https://mineru.net/OpenSourceTools/Extractor

● 技术报告链接:https://arxiv.org/pdf/2511.16397v1

● 模型链接:https://huggingface.co/opendatalab/MinerU-HTML

一、网页解析“统一入口”:动态网页秒变AI-Ready语料

这次更新的核心利器——“MinerU HTML”网页解析系统,正式上线网页端与桌面客户端。大家可以在 MinerU网页端和桌面客户端通过简单的 URL 输入,实现网页到 Markdown 的完美转换。解析成功后,你会看到超酷的左右分栏视图,左边是网页快照,右边是清晰的 Markdown 或 JSON。支持高质量缩放,对照查看,所见即所得!

核心亮点:

1. 极致转化,秒变 Markdown。无需复杂操作,在统一输入框内粘贴网址,无论是图文并茂的深度长文,还是结构复杂的动态页面,MinerU 都能将其精准转化为逻辑严密、结构清晰的 Markdown 文档。

2. 深度解析,继承技术优势。该功能充分继承了 MinerU 在公式、表格识别领域的领先优势。网页中嵌入的复杂科学公式、嵌套表格均能被精准还原,确保解析后的文档具备极高的可读性与专业性,完美适配学术研究与专业分析场景。

3. 韧性解析,自带“重试”机制。如果动态加载出现问题,系统会自动切换重试。无论是复杂的交互页面还是难以提取信息的站点,在 MinerU面前统统都要乖乖变回结构化的数据。

4. 无惧动态渲染,深度兼容。针对现代网页常见的 React、Vue 等框架生成的动态内容,MinerU 展现了强大的解析能力。告别乱码与格式错位,让“所见即所得”成为现实。

5. 纯净体验,去冗留精。系统会自动识别并过滤广告干扰、侧边栏杂讯及无关链接,剔除冗余信息,只为您提取最核心、最纯净的高价值内容。

图片

图片


目前,网页端与桌面客户端我们提供了每人每日 100次的免费配额,助您轻松提取网页,让网页信息的获取与利用效率实现指数级飞跃!

💡 小贴士:如果遇到无法直接访问的“深网”内容怎么办?

别担心!MinerU除了支持 URL 链接解析,还支持本地 HTML 文件上传解析。你可以通过以下简单的手动步骤获取动态网页的 HTML,再交给 MinerU 处理:

1. 打开开发者工具:在页面上点击鼠标右键,选择“检查”(Inspect),或者按快捷键 F12(Mac 为 Cmd + Option + I)。

2. 定位到根节点:在弹出的面板中切换到 “Elements”(元素)标签页。

3. 定位并复制HTML:滚动至顶部,找到 <html> 标签,点击右键选择 “Copy” -> “Copy outerHTML”。

4. 保存为本地文件:将内容粘贴至文本编辑器(如记事本、VS Code),保存为 .html 文件即可上传至 MinerU 进行解析。

图片

二、开发者福利:API 侧的“逻辑大一统”

如果你是开发者或研究员,面对海量的资讯采集、竞品追踪或学术文献收集任务,手动操作显然不是长久之计。这时候,MinerU 的 API 接口便是为你量身定制的“自动化利器”。

为了让开发者的逻辑更简洁,我们重构了输入流程,多源输入,一个接口搞定 。不同于网页端与桌面客户端注重即时交互的体验,API 侧更强调逻辑的整合性:我们特意将 HTTP 文件上传与 URL 上传接口进行了“大统一”。无论你输入的是 PDF 文件还是网页链接,一个接口即可完成所有分发,极大降低了代码维护成本。

在 API 侧,我们赋予了数据解析前所未有的“透明度”,透明化解析,进度尽在掌握 。响应包中新增的 fetch_status 字段,让你能实时洞察每一个网页的抓取状态。无论是复杂的动态渲染过程,还是特殊的请求反馈,后台数据一目了然,让你的程序逻辑更加稳健可靠。

配合系统自带的“智能路由”功能,不管是混合了 PDF、网页还是截图的复杂任务,MinerU 都能在后台自动并行处理,最后为你吐出整齐划一的高质量数据。

你可以试着将它接入 Dify 或 Notion 等工具。只需简单配置一下 API 密钥,MinerU 就能化身为你的自动化“知识中枢”,在后台静默而高效地收割全网干货。

图片

图片

(API调用方法,详细内容可查看 MinerU 官网 API 文档)

结语:MinerU 正在努力打破文档、网页与大模型之间的信息围墙,致力于成为您工作流中不可或缺的“信息获取中枢”。无论是为 RAG 知识库提供不失真的 Markdown 语料,还是为 Agent 工具链输送结构化的业务字段,MinerU 始终坚持 “AI-Ready” 的核心目标。

现在就去登录网页端或更新桌面端,让互联网碎片秒变高质量 AI 资产! 如果您在使用中发现解析不准,请直接“点踩”反馈。您的每一条意见,都是我们打磨“数据神兵”的动力!

立即体验 MinerU 网页解析新功能!

https://mineru.net/OpenSourceTools/Extractor

Mineru 智能文档解析引擎-快速上手 MinerU是一款专注于科技文献处理的PDF解析工具,能够将PDF转换为Markdown、JSON等机器可读格式。该工具具备智能排版解析、公式/表格识别转换、多语言OCR支持等功能,并支持多种输出格式和可视化结果。MinerU支持CPU/GPU加速,兼容Windows/Linux/macOS平台,提供pip安装、源码编译和Docker部署三种安装方式。项目特别针对科技文献中的符号转化问题进行了优化,旨在为大模型时代的科研工作提供支持。用户可通过命令行、API或Gradio界面使用该工具,遇到问题可在GitH 阅读详情

相关推荐

【项目】多模态RAG—本地部署MinerU实现多类文档解析

【摘要】开源工具MinerU由OpenDataLab团队开发,支持本地部署实现多类文档(PDF/Word/Excel/图片等)解析,可保留原始格式并转换为Markdown/JSON。该工具具备OCR识别、表格/公式转换、多语言支持等功能,适用于RAG、文档数字化等场景。项目通过API服务实现政策文件解析需求,将附件转为Markdown后再生成HTML展示,解决了政务问答系统中格式丢失问题。安装部署包含模型下载和Python服务端搭建,提供RESTful接口供其他系统调用。

一个内容严谨、方向前沿、极具实践价值的AI大模型技术分享站 2779

大模型网页数据清洗工具思路:MinerU-HTML

网页数据是大模型预训练的核心来源(如Common Crawl),但需先将HTML转换为结构化文本。现有工具(Trafilatura、Resiliparse)依赖(如文本密度、DOM树遍历规则),导致代码块、公式、表格等结构化元素丢失或损坏,进而影响大模型预训练效果。。

余俊晖,NLP炼丹师,目前专注自然语言处理领域研究。曾获得国内外自然语言处理算法竞赛TOP奖项近二十项。 994

miner:Miner是一个PHP库,用于从HTML页面提取元数据和有趣的文本内容(例如作者,摘要等)。 它的作用类似于Apache Tika中的简化HTML元数据解析器

矿工 该库是一部分,有关更多信息,请参见 。 Miner是一个PHP库,可从HTML页面提取元数据和有趣的文本内容(例如作者,摘要等)。 它的作用就像的简化。 WTF是矿工吗? - 考虑下面来自LinkedIn的屏幕截图: 当您在LinkedIn上发布指向您的联系的链接时,它将自动为您提取标题,摘要,甚至封面图像。 矿工通常可以用来完成这样的任务。 安装 安装Golem软件包的最佳简便方法是使用 。 打开composer.json并将以下内容添加到require数组: "yoozi/miner": "1.0.*" 运行Composer以安装或更新新的软件包依赖项。 php com

打破桎梏!MinerU-HTML重构网页提取范式,开源超大规模高质量多语言语料AICC

摘要:上海AI实验室OpenDataLab团队提出新一代网页提取工具MinerU-HTML,通过两阶段语义感知方法解决传统HTML提取的局限性。该工具首先用0.6B参数模型标注正文节点,再精细处理代码、公式等结构化元素,最终输出Markdown格式。基于此构建的AICC语料库(7.3万亿tokens)在多项测试中超越RefinedWeb等现有语料,尤其在通用知识和阅读理解任务上表现突出。实验证明高质量提取比激进过滤策略更有效,为大规模预训练提供了新标杆。团队开源了相关工具、模型及数据集,推动AI数据生态建设

OpenDataLab的博客 615

feko金属球远场RCS双站

feko金属球远场RCS双站

a264672的博客 6910

在Wincc8.0的Wincc 3D Control控件中使用3D模型

如果之前没有在Blender中自定义光照,EnableBackground属性选择“是”,Wincc 3D Control会按一个均匀的光照强度渲染。Wincc8.0更新后提供了一个Wincc 3D Control控件来显示3D图像,但是该控件实际体验下来现阶段还存在功能不足、运行不稳定的问题。再把导出的dae文件复制进Wincc项目的GraCS文件夹中,文件名称复制进控件的SceneFile属性里。选择编辑模式,全选模型,点击网格→分离→按材质,分离出不同的部件(不同的部件最好使用不同的材质)。

ghoring的博客 7129

MinerU如何导出HTML?多格式输出扩展教程

本文介绍了基于星图GPU平台自动化部署MinerU 2.5-1.2B 深度学习 PDF 提取镜像的方法,结合其结构化中间表示机制,实现从复杂PDF文档到HTML等多格式的高效导出。该方案适用于AI驱动的文档解析、知识库构建与模型微调等场景,助力开发者快速搭建自动化文档处理流程。

weixin_36431814的博客 896

GPU运维基础知识

常见的GPU型号如NVIDIA Tesla系列(V100、A100)、GeForce RTX系列(3090、4090)和AMD Instinct系列(MI250X)。硬件监控工具包括NVIDIA的nvidia-smi和AMD的rocm-smi,用于实时监控GPU状态、温度、功耗和显存使用情况。NVIDIA和AMD是主流GPU供应商,NVIDIA的CUDA架构和AMD的ROCm生态是核心。GPU包含流处理器、显存、显存带宽等关键组件,不同型号的GPU在计算能力、显存容量和功耗上存在差异。

云原生运维的博客 762

3分钟掌握MinerU:智能文档转换的终极解决方案

你是否还在为PDF转换效率低下而烦恼?MinerU让你告别繁琐配置,轻松应对从基础转换到AI加速的全场景需求。本文将带你快速掌握核心模块安装、vllm加速配置、轻量客户端部署三大实战技能,让文档处理效率提升300%。 ## 为什么选择MinerU? MinerU是一个革命性的文档解析工具,专为LLM、RAG和Agent工作流设计。它能将PDF、DOCX、PPTX、XLSX、图像和网页等复杂文档

gitblog_00606的博客 803

SAP SD实战:用BADI_SLS_HEAD_SCR_CUS给销售订单VA01/VA02加自定义字段(附完整函数组代码)

本文详细解析了在SAP SD模块中如何利用BADI_SLS_HEAD_SCR_CUS实现销售订单(VA01/VA02)的屏幕增强,包括数据结构设计、函数组创建和BADI接口实现。通过实战案例和完整代码,帮助开发者掌握在SAPMV45A标准流程中添加自定义字段的关键技术,提升业务定制化能力。

weixin_27015733的博客 368

从M.2到E1.S,从U.2到E3.S:数据中心SSD接口的世代更迭与选择逻辑

本文深入探讨了数据中心SSD接口从M.2、U.2到E1.S、E3.S的演进历程与选型逻辑。通过对比分析不同接口的物理规格、性能表现和散热设计,揭示了EDSFF接口在数据中心环境中的优势,包括更高的部署密度、更好的散热效能和更强的扩展能力。文章还提供了针对不同应用场景的SSD选型建议,帮助IT决策者优化存储架构。

weixin_33816300的博客 415

MinerU-3本地文档解析工具:从PDF/图片到结构化Markdown的完整实践

文档解析与OCR技术是处理非结构化数据的关键环节,其核心原理是通过计算机视觉与自然语言处理模型,识别图像或文档中的文字、版式与表格,并将其转换为机器可读的结构化格式。这项技术的价值在于能将海量纸质文档、扫描件和演示文稿数字化,极大提升信息检索、编辑与分析的效率。在实际应用场景中,开发者常面临硬件资源有限、数据隐私敏感以及批量处理需求等挑战。MinerU-3作为一款开源的本地文档解析工具,针对这些痛点提供了解决方案。它支持GPU与纯CPU两种推理模式,最低仅需4G显存即可运行,显著降低了硬件门槛。该工具能将P

weixin_34293911的博客 420

时间序列聚类在股票市场分析中的实践与优化

时间序列聚类是一种面向动态行为建模的无监督学习方法,其核心在于通过语义感知的距离度量(如DTW)捕捉价格形态的相位弹性与结构相似性,而非依赖静态数值或标签驱动。相比K-Means等传统算法,它能有效缓解金融时序中普遍存在的噪声敏感、对齐失效与形态失真问题,从而提升聚类结果的市场可解释性与策略鲁棒性。该技术已广泛应用于市场状态识别、行业行为分群、异常交易监测等场景,并成为构建可验证量化分析框架的关键预处理层。本文聚焦A股真实行情数据,详解从原始OHLCV到可聚类时间序列的完整链路,涵盖DTW距离计算、层次聚类

weixin_34220179的博客 828

3步掌握MinerU:构建智能文档解析系统的实战指南

MinerU是一个专为LLM、RAG和Agent工作流设计的高精度文档解析引擎,能够将PDF、DOCX、PPTX、XLSX、图像和网页等多种格式的文档转换为结构化的Markdown或JSON格式。它采用VLM+OCR双引擎架构,支持109种语言,为开发者提供企业级的文档处理能力。 本文将通过三个核心步骤,带你从零开始构建完整的MinerU文档解析系统,涵盖环境配置、功能扩展和性能优化等关键环节。

gitblog_00548的博客 830

密码学:一文读懂数字证书

消息摘要算法用于验证数据完整性服务,对称加密算法和非对称加密算法用于保证数据保密性服务,数字签名算法用于抗否认性服务。数字证书集合了多种密码学算法:自身带有公钥信息,可完成相应的加密/解密操作;同时,还带有数字签名,可鉴别消息来源;且自身带有消息摘要信息,可验证证书的完整性;由于证书本身含有用户身份信息,因而具有认证性。

Shujie 2907

自抗扰控制(ADRC)理论与工程实践:8.2 模糊ADRC、神经网络ADRC等智能融合变体

智能融合ADRC变体概述 自抗扰控制(ADRC)与智能控制方法(如模糊逻辑、神经网络)的融合,旨在突破传统ADRC在非线性、时变系统中的应用局限。智能融合ADRC主要通过以下方式实现性能提升: 模糊ADRC 参数自整定:利用模糊推理在线调节ADRC带宽参数,实现自适应控制。 非线性反馈:用模糊控制器替代线性PD,灵活设计非线性控制策略。 优势:融入专家经验,无需精确模型;局限:依赖规则库设计,稳定性分析困难。 神经网络ADRC 增强ESO:用神经网络学习扰动动态,提高估计精度。

技术工作者 226

深度调研开源 PDF 转 Markdown 工具:Marker、MinerU 与替代方案

本文系统梳理了 Dolphin、MarkItDown、MinerU、Marker 等主流开源 PDF 转 Markdown 工具的功能特点与适用场景。对于结构保真、图片表格提取、AI 智能解析和易用性等维度,各工具各有优势。实际选型时,建议结合文档复杂度、部署环境和商业许可要求,优先考虑结构保真度高且易用性强的方案。对于学术论文、复杂报告等高要求场景,推荐 MinerU 或 Marker;如需快速批量处理或多格式支持,可选 Pandoc 或 MarkItDown。

ServiceMesher 1922

蓝牙模块HM-10手册

蓝牙模块HM-10手册,该手册对蓝牙模块HM-10进行了详细的介绍和使用方法以及一些AT指令。

MinerU Gradio WebUI 实操指南:10 分钟把 PDF 变成大模型可用的 Markdown

想象一下这个场景:你手里有一批技术手册和论文 PDF,想喂给 RAG 或大模型做检索问答,但直接复制出来的文本顺序混乱、公式变成乱码、表格只剩一堆空格——这类文档直接进大模型,效果往往很差。MinerU Gradio WebUI 就是为了解决这个问题:一条 `mineru-gradio` 命令启动浏览器页面,上传 PDF 或 Office 文档,选择解析后端,点击转换,就能在网页里直接预览 Mar

gitblog_00909的博客 985

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

MinerU 常见问题与报错排查:从装不上到爆显存,一次搞定 PDF 解析所有坑

MinerU 是把 PDF、DOCX、PPTX、XLSX 解析成 Markdown/JSON 的开源文档解析工具,喂给大模型之前用它做数据准备的人很多。装不上、模型下不动、解析丢字、显存不够用……遇到别慌,这篇按"你卡在哪一步"组织,照下面这条排查线对号入座就行。 [![MinerU 文档解析项目全景图](https://raw.gitcode.com/GitHub_Trending/mi/Mi

gitblog_00663的博客 1109

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

MCP Apps 之后,文档解析需要一层“可点击的人审界面”

MCP Apps推动文档解析进入交互式审核时代,要求解析工具不仅输出结构化数据,还需提供人机协同审核界面。MinerU作为智能文档解析平台,其OCR、表格提取、公式识别等功能与MCP Apps结合,可构建五层文档入库链路:输入治理→解析执行→结构化输出→交互审核→入库回归。这种模式解决了传统RAG流程中直接入库未审核内容的风险,特别适用于科研、法律等需要高准确性的领域。关键创新在于将人类审核环节嵌入Agent工作流,通过沙箱化界面实现文档元素级验收,确保入库内容经过结构化处理和人工验证的双重保障

m0_61134850的博客 391

MinerU从零开始:免配置云端体验,告别本地限制

本文介绍了如何在星图GPU平台自动化部署📑 MinerU 智能文档理解服务镜像,实现医学PDF的高效解析。通过该平台,用户无需配置即可在云端快速启动MinerU,将复杂文档转化为结构化文本,广泛应用于视障辅助、文献处理与AI内容提取等场景,显著提升信息可及性与处理效率。

JetRaven12的博客 1044

AI编程工具的文档解析盲区与工程化破局方案

技术文档理解是AI编程助手的核心能力之一,其本质涉及多模态内容解析、结构化信息抽取与语义关联建模。当前主流工具普遍依赖通用OCR和轻量解析器(如pdfplumber、python-docx),在处理PDF扫描件、嵌套表格、动态网页及LaTeX公式等非标准载体时,存在系统性识别失败与语义断裂问题。这一局限并非模型能力不足,而是解析层与大模型层之间缺乏结构感知与置信反馈机制。技术价值在于将‘黑箱式文档加载’升级为‘可验证、可追溯、可干预’的工程流程;典型应用场景包括金融合规条款提取、API规范精准问答、芯片规格

dianjiaxian1205的博客 395

MinerU源码安装全攻略:环境配置到PDF解析验证

在RAG和知识库预处理场景中,PDF文档的结构化解析是核心环节,而MinerU凭借对版面、公式、表格及标题层级的精准还原,成为从PDF生成高质量Markdown的热门工具。但源码安装涉及Python环境、PyTorch/CUDA版本、OCR及公式识别依赖、模型权重拉取等多项复杂配置,常让开发者中途受阻。本文从环境隔离与依赖选型入手,系统讲解源码安装的完整链路,包括虚拟环境搭建、PyTorch与CUDA匹配、核心依赖安装、模型源切换及手动模型部署,并结合命令行与Python API两种验证方式,帮助开发者在L

weixin_34348174的博客 267

RAG 核心技术实战:文档解析、分块策略与检索 Pipeline

RAG 系统检索效果差,很多问题其实出在数据预处理。本文从实战角度拆解 RAG 数据链路的每一个环节:PDF/Word/Excel 多格式文档解析、4 种分块策略的实测对比与选型决策树、BGE-M3 等 Embedding 模型的企业选型指南、Milvus 向量库接入与优化,最后串成一套端到端的可运行 Pipeline。附完整代码和踩坑记录。

汪汪汪的博客 657

X2Knowledge文档转换解决方案:解决企业知识库建设的格式兼容与智能提取难题

在数字化转型浪潮中,企业面临着一个普遍而棘手的挑战:如何将海量非结构化文档(PDF、Word、Excel、PPT等)高效转化为结构化知识,以支撑RAG应用和企业知识库建设?传统文档处理工具往往存在格式兼容性差、内容提取不完整、无法直接服务AI应用三大痛点,导致知识库建设效率低下、成本高昂。X2Knowledge作为一款开源免费的文档转换工具,通过创新的多引擎架构和智能内容提取技术,为企业提供了从文

gitblog_00058的博客 492
上一篇: 总激励200万!2026 MinerU数据智能与前沿语料挑战赛正式启幕,筑基 AGI4S 高质量语料新高地!
下一篇: ScienceMetaBench 开源:建立科学文献元数据提取的客观评测基准
OpenDataLab
博客等级 码龄4年 636粉丝 135原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值